![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HIVE
文章平均质量分 82
一缕清风a
这个作者很懒,什么都没留下…
展开
-
hive窗口函数记录
hive窗口函数记录一 、 排序 row_number, rank,dense_rankrow_number(): 分组内,从1到n连续rank(): 分组内,排序如下:1,2,2,3dense_rank():分组内,排序如下:1,2,2,4准备数据:create table personas_test_2 as select "cookid_01" AS cookid , "2017-09-18" as create_time ,1 as pv union allselect "原创 2021-03-26 17:45:54 · 105 阅读 · 0 评论 -
解决hive小文件过多问题
解决hive小文件过多问题一、小文件产生原因1. 直接向表中插入数据2. 通过load方式加载数据3. 通过查询方式加载数据二、小文件过多产生的影响三、怎么解决小文件过多1、 使用 hive 自带的 concatenate 命令,自动合并小文件2、 调整参数减少Map数量2.1 设置map输入合并小文件的相关参数2.2 设置map输出和reduce输出进行合并的相关参数2.3 启用压缩3、 减少Reduce的数量4、 使用hadoop的archive将小文件归档一、小文件产生原因hive 中的小文件肯定转载 2021-05-13 17:03:15 · 604 阅读 · 0 评论