Flink从入门到精通100篇（十七）-Spark/Flink广播如何实现作业配置动态更新？

 

前言

 

在实时计算作业中，往往需要动态改变一些配置，举几个栗子：

 

实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析；

 

实时NLP服务，需要及时识别新添加的领域词与停用词；

 

实时风控服务，需要根据业务情况调整触发警告的规则。

 

那么问题来了：配置每次变化都得手动修改代码，再重启作业吗？答案显然是否定的，毕竟实时任务的终极目标就是7 x 24无间断运行。Spark Streaming和Flink的广播机制都能做到这点，本文分别来简单说明一下。