对Spark的那些【魔改】

原文链接：https://blog.csdn.net/D55dffdh/article/details/82423831

前言

这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

比如SparkEnv里有个属性叫closureSerializer，是专门做任务的序列化反序列化的，当然也负责对函数闭包的序列化反序列化。我们看看内部是怎么实现的：

这里直接new了一个JavaSerializer,并不能做配置。如果不改源码，你没有任何办法可以替换掉掉这个实现。同理，如果我想替换掉Executor的实现，基本也是不可能的。

今年有两个大地方涉及到了对Spark的【魔改】，也就是不通过改源码，使用原有发型包，通过添加