![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
qq_34124060
这个作者很懒,什么都没留下…
展开
-
hive参数调优
Map Reduce数量相关 数据分片大小 (分片的数量决定map的数量) 计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize)) set mapreduce.input.fileinputformat.split.maxsize=750000000;单个reduce处理的数据量 (影响reduce的数量) ...原创 2018-06-12 19:51:28 · 1297 阅读 · 0 评论 -
hive数据优化
影响Mapper的数量 1)文件数量 2)文件大小,根据下面参数进行切割 set mapred.max.split.size=128000000影响Reducer数量 mapred.reduce.tasks(强制指定reduce的任务数量) hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G)...原创 2018-06-12 19:55:27 · 261 阅读 · 0 评论 -
hive窗口函数
建立一张测试表CREATE TABLE test (cookieid STRING, create_time STRING, pv INT) ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';查看表数据select * from test;+----------------+-------------------+----------+--+...原创 2019-02-01 01:36:54 · 779 阅读 · 0 评论