升级SparkStreaming Application代码
在对StreamingApplication项目进行升级时，此时如果代码发生改变的话，有两种方式可以做到。
1. 升级的代码和旧的代码同时运行起来，（接收同样的数据）直到新程序能够稳定的运行。旧的程序就可以停掉。
注意: 这种方式只支持能够将数据发送到两个不同的地址（新程序和老程序）的数据源，比如kafka。
2.采用优雅关闭context方式：
see
当升级SparkStreaming应用时，可通过设置标识或标记文件实现有条件停止，避免使用旧版本运行。需注意更改新的checkpoint目录，否则可能导致序列化错误。升级应用有两种方式：并行运行新旧应用直至新应用稳定，然后关闭旧应用；或优雅关闭旧应用，确保数据完全处理后再启动升级版应用，但此方法限于支持源端缓冲的数据源如Kafka。
订阅专栏 解锁全文
扫一扫
526
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
