超级会员免费看
本文详细讲解了Spark集群中Mapper端和Reducer端的内存使用及调优最佳实践。针对Mapper端，重点讨论了内存使用详解、性能调优示意图以及如何根据Log和Web UI进行调优。而在Reducer端，除了内存使用详解，还介绍了Reducer端的性能调优参数以及在遇到内存问题时的解决策略，如调整缓存大小以避免OOM等问题。
第23章Spark集群中Mapper端、Reducer端内存调优
本章主要讲解如下内容：
l Spark集群中Mapper端内存调优最佳实践；
l Spark集群中Reducer端内存调优最佳实践。
23.1 Mapper端内存调优
本节讲解Spark集群中Mapper端内存使用详解以及性能调优最佳实践。
23.1.1 Spark集群中Mapper端内存使用详解
Spark集群Shuffle分为2部分：Mapper端和Reducer端。本节讲解Spark集群中Mapper端内存使用。Spark集群中的Shuffle是非常重要的，Shuffle的特殊在于我们依赖于所有的数据，RDD的依赖是后面的RDD依赖前面的RDD
订阅专栏 解锁全文
扫一扫
1174
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
