- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark sql 数据倾斜解决
一次数据查询，简单的表关联，在某个stage 长时间running查看Spark ui ，发现 两阶段 inputsize 相差巨大，有明显数据倾斜解决：其中一个表为维度表，数据量较小考虑 提供map join 判断阀值set spark.sql.autoBroadcastJoinThreshold = 838861000;提高广播表的大小，适当牺牲空间换查询性能，set spar...
2019-09-18 11:26:45
1356
原创 Hive 如何增加或减少Map/Reduce 的数量
HIVE 使用中调整MAP 和 REDUCE 数量本次经过参考很多文档，和在集群中的实践，我把最后的成功结果整理了下。最后能够明显改变计划的MAP 和 REDUCE数量的方法调整如下两个参数**set hive.exec.reducers.bytes.per.reducer = 52428800; – 每个reduce 可以处理的字节长度set mapred.max.split.siz...
2019-07-17 17:01:05
3606
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人