io.netty.util.internal.OutOfDirectMemoryError

spark.maxRemoteBlockSizeFetchToMem(默认512m)

        当远程块的大小以字节计超过此阈值时，将获取到磁盘。这是为了避免占用太多内存的巨大请求。默认情况下，这只对> 2GB的块启用，因为无论有什么资源可用，这些块都不能直接提取到内存中。但是，它可以被降低到一个更低的价值。以避免在较小的块上使用太多的内存。注意，此配置将影响洗牌获取和块管理器远程块获取。对于启用外部shuffle服务的用户，此功能只能在外部使用

要求：spark.shuffle.service.enabled = true

spark.maxRemoteBlockSizeFetchToMem

Int.MaxValue - 512

The remote block will be fetched to disk when size of the block is above this threshold in bytes. This is to avoid a giant request that takes too much memory. By default, this is only enabled for blocks > 2GB, as those cannot be fetched directly into memory, no matter what resources are available. But it can be turned down to a much lower value (eg. 200m) to avoid using too much memory on smaller blocks as well. Note this configuration will affect both shuffle fetch and block manager remote block fetch. For users who enabled external shuffle service, this feature can only be used when external shuffle service is newer than Spark 2.2.

spark的 shuffle分为两个过程，shuffle write和shuffle read，以上参数就是对data文件大小进行判断，决定是否加入内存中，为后续使用。

Spark Shuffle OOM 可能性分析

1，首先需要注意 Executor 端的任务并发度，多个同时运行的 Task 会共享 Executor 端的内存，使得单个 Task 可使用的内存减少。

2，无论是在 Map 还是在 Reduce 端，插入数据到内存，排序，归并都是比较都是比较占用内存的。因为有 Spill，理论上不会因为数据倾斜造成 OOM。 但是，由于对堆内对象的分配和释放是由 JVM 管理的，而 Spark 是通过采样获取已经使用的内存情况，有可能因为采样不准确而不能及时 Spill，导致OOM。（文章末尾案例为此种情况）

3，在 Reduce 获取数据时，由于数据倾斜，有可能造成单个 Block 的数据非常的大，默认情况下是需要有足够的内存来保存单个 Block 的数据。因此，此时极有可能因为数据倾斜造成 OOM。 可以设置 spark.maxRemoteBlockSizeFetchToMem 参数，设置这个参数以后，超过一定的阈值，会自动将数据 Spill 到磁盘，此时便可以避免因为数据倾斜造成 OOM 的