- 博客(8)
- 收藏
- 关注
RSS订阅原创 hql 随手笔记
1.一次插入多个分区动态分区：create table test_tb(id string,name string)partitioned by (dt string)row format delimitedfields terminate by '\t'stored as orc;set hive.exec.dynamic.partition=true; --开启动态分区set hive.exec.dynamic.partition.mode = nonstrict; -- 动态分
2021-09-05 23:29:54
121
转载 模型融合方法
融合对象融合对象，是不同的个体学习器 (Individual Leaner)。对于个体学习器来说，它们的不同体现在：不同训练数据：数据集使用比例、预处理方法 (缺失值填补、特征工程等)；不同模型结构：RF、XGBoost、LightGBM、CatBoost、CNN、LSTM等；不同超参：随机种子数、权重初始化、收敛相关参数 (例如学习率、batch size、epoch、早停步数)、损失函数、子采样比例等。融合方法1.投票法适用于分类任务，对多个学习器的预测结果进行投票，即少数服从多数。
2021-09-05 17:34:34
1107
原创 hive常用字符串公式
1. 字符串长度计算函数：lengthSELECT length('csdnblog');-- 82. 字符串反转函数：reverseSELECT reverse('csdnblog');-- 'golbndsc'3. 字符串连接函数：concatSELECT concat('www.','baidu.','com');-- 'www.baidu.com'4. 带分隔符字符串连接函数：concat_wsSELECT concat_ws('.','www','baidu','com'
2021-04-10 21:57:04
1310
原创 python时间处理函数
python时间处理获取指定的时间和日期日期加减日期格式与字符串格式转换获取每个月有多少天获取指定的时间和日期datetime(%Y,%m,%d,%H,%M,%S)datetime共有6个参数，分别代表的是年月日时分秒。其中年月日是必须要传入的参数，时分秒可以不传入，默认全为零。from datetime import datetimeprint(datetime(2020,4,1))print(datetime(2020,3,21,11,38,30))print(datetime.now(
2021-01-10 21:39:59
1061
原创 hive 窗口函数总结及使用案例
1. 窗口函数和普通聚合函数的区别聚合函数是将多条记录合并为一条；窗口函数是每条记录都会执行，原来有几条记录最终执行完还是几条聚合函数也可以用于窗口函数：窗口函数在逻辑上的执行顺序是在FROM、JOIN、WHERE、GROUP BY 、HAVING 之后，在ORDER BY、LIMIT、SELECT DISTINCT之前。它执行之前GROUP BY的聚合过程已经完成了，所以不会再产生数据聚合。注：窗口函数是在 WHERE 之后执行的，所以如果 WHERE 子句需要用窗口函数作为条件，需要多套一层子
2020-08-24 00:06:08
775
原创 hive 相关时间日期函数总结
1. 获取当前时间大多数SQL中获取当前时间用 now()函数即可，hive则有所不同。hive 获取当前时区的UNIX时间戳： unix_timestamp()SELECT unix_timestamp();如果想要具体当前时间，则要使用UNIX时间戳转日期函数： from_unixtime()，返回值: stringSELECT from_unixtime(unix_timesta...
2020-04-26 00:12:13
839
原创 关于AB test的一些整理
这些那些AB test的作用及流程A/B test 是一种将网页或应用程序的两个或多个版本随机显示给不同组用户，通过统计分析方法确定哪个版本的指标性能更好的一种实验方法。案例：某读书软件的书籍推荐页有两种推荐方式可以实行，至于哪种推荐方式能带来更多的阅读量和追新量，就需要借助A/B测试来找到更好的推荐方法。原始版本：主推“精品书籍”版块，即当下优质书目推荐，与用户阅读的书籍类型无关；试...
2020-04-25 17:26:55
2315
翻译 python3 split()、list()、join()
split()list()join()1. split()将句子分成单词>>> A = 'Mary had a little rabbit'>>> A.split() ['Mary', 'had', 'a', 'little', 'rabbit'] 空白字符包括空格’ ‘，换行符’\ n’和制表符’\ t’等。.split()分隔这些字符的任何...
2019-03-11 00:43:08
1683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人