HiveSQL
文章平均质量分 80
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive和Spark SQL优化
优化步骤 问题定位,通过日志和代码分析,定位任务耗时长的原因 hive任务,对于hive任务,可以通过日志查看哪个application、以及是哪个阶段耗时较长,另外,可以通过stage编号,结合explain查看执行计划,可以得知耗时较长的application对应的是sql中的哪个操作,便于具体分析原因。如果是map阶段较长,很可能是并发不够,如果是reduce较长,且长时间留停在99...原创 2020-05-05 22:36:29 · 1527 阅读 · 0 评论 -
Hive中Map任务和Reduce任务数量计算原理
Hive中Map任务和Reduce任务数计算原理 MapReduce原理 Map阶段(以FileInputFormat为例) 步骤:map, partition, sort, combiner InputFormat负责计算分片,一个分片对应一个Map任务,InputFormat而且还负责创建RecordReader,通过RecordReader的next()方法,然后循环调用map()方法...原创 2020-04-30 16:37:19 · 3495 阅读 · 0 评论
分享