![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习-Spark
_BD攻城师_
记录一些日常的大数据的处理思路,集群优化方案等等。
如有错误,请耐心指出,自当虚心接受 :)
展开
-
Spark性能调优-Shuffle调优[转]
• Spark底层shuffle的传输方式是使用netty传输,netty在进行网络传输的过程会申请堆外内存(netty是零拷贝),所以使用了堆外内存。• shuffle过程中常出现的问题 常见问题一:reduce oom? 问题原因: reduce task 去map端获取数据,reduce一边拉取数据一边聚合,reduce端有一块聚合内存(executor memor转载 2017-12-10 09:55:31 · 337 阅读 · 0 评论 -
spark streaming driver内存泄露
症状spark streaming driver内存一直增长,直到小心脏受不了,凝固在那里不死但是动不了内存爆满。块丢失 环境amabri hdp 2.3spark 1.4.1hadoop/yarn 2.7yarn-client模式,两个excutor分析分析streaming日志: WARN TaskSetManager: Lost task 3.1 in st...转载 2018-04-10 11:20:59 · 2809 阅读 · 0 评论