简介
使用方法
简述一下需求
自定义source
背景
紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】,上一篇主要讲了怎么对数据流做监控报警,但是实际生产环境中,可能我们对这个报警的阈值设置成多大也没有一个准,可能需要根据经验不断的来修改,所以就涉及了可能需要不断的修改这个报警的阈值,但是如果每次修改了之后,都通过重启flink程序来实现,这个成本就有点高了,所以我们这次主要是讲解一下,如何使用flink的广播动态的更新配置来设置这个报警的阈值.
flink broadstate
简介
是flink提供的一种算子,可以使用一个Stream接收不断变化的数据(比如我们的配置数据),然后把这些数据广播到flink的所有task中,这样主Stream中的数据就能动态的从广播流中获取所需要的配置,然后根据动态的配置来处理数据.
使用方法
构造广播流
//构造一个map state descriptorMapStateDescriptor confDescriptor = new MapStateDescriptor<>("config-keywords",BasicTypeInfo.STRING_TYPE_INFO,BasicTypeInfo.LONG_TYPE_INFO);//配置流,比如我们可以从kafka动态接受配置,