HiveSQL
文章平均质量分 80
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
Hive和Spark SQL优化
优化步骤问题定位,通过日志和代码分析,定位任务耗时长的原因hive任务,对于hive任务,可以通过日志查看哪个application、以及是哪个阶段耗时较长,另外,可以通过stage编号,结合explain查看执行计划,可以得知耗时较长的application对应的是sql中的哪个操作,便于具体分析原因。如果是map阶段较长,很可能是并发不够,如果是reduce较长,且长时间留停在99...原创 2020-05-05 22:36:29 · 1425 阅读 · 0 评论 -
Hive中Map任务和Reduce任务数量计算原理
Hive中Map任务和Reduce任务数计算原理MapReduce原理Map阶段(以FileInputFormat为例)步骤:map, partition, sort, combinerInputFormat负责计算分片,一个分片对应一个Map任务,InputFormat而且还负责创建RecordReader,通过RecordReader的next()方法,然后循环调用map()方法...原创 2020-04-30 16:37:19 · 3376 阅读 · 0 评论