sparkconf修改配置不生效

sparkconf修改配置不生效

场景：

统一的数据处理平台，在日常工作中，需要初始化sparkcontext，这个context为考虑绝大多数用户的需求，所有的配置必须要考虑通用性，如设置输出格式统一为gzip，以达到节省空间的效果等。

这种情况下会带来问题，如果有用户有特定的需求，比如某用户不想把输出文件进行gzip压缩，这时需要针对此需求进行定制化功能开发。

第一次尝试：

笔者首先尝试，在初始化sparkconf后，再进行sparkconf中值的修改。

初始化代码示例如下：

 

初始化之后进行sparkconf中的值代码示例如下(对于不想压缩的用户，可以在用户逻辑中修改是否压缩为false)：

当代码修改为以上时，运行时不生效的。也就是说，输出文件依然进行了gzip压缩。

于是去官网查看资料发现如下，大意是，可以修改配置在运行时，但是，这只是针对于sparksql的。

对于sparkcore，则无这方面的说明。

遇事不决，翻看源码

在sparkcontext源码(2.4.3)中，我们发现了关于sparkconf的说明。大家应该一看便明白，大意是：初始化context时，使用的是conf的副本，配置在运行时是不能被修改的。所以，我们在初始化后，再修改conf的值，是不生效的。

其实也比较容易理解，context初始化时已经把策略指定完毕，如果在运行中，告诉context之前要压缩的，现在不压缩了，这肯定是无法做到的。至于上面，sparksql可以动态修改conf的值，个人理解是sql是动态的，每次执行都会返回一个结果，用户可以针对此次执行，去修改配置。

那我们一开始的需求使用这种方式是行不通的。只能采用“曲线救国”的方法了。具体实现会在下一篇文章给出。

此次事件的反思：要从源码中和官网上寻找答案，不能想当然。

笔者水平有限，如有不正确的地方欢迎指正。