Flink动态传参

背景:
在自定义metric report时,实现了MetricReporter,可以在其open方法中做一些初始化操作。

   @Override
    public void open(MetricConfig config) {
	//todo do something 
    }

其中config包含了flink-conf.yaml配置文件中的所有参数,可以通过config方法获取
比如:

metricConfig.getString(CHANNEL, null)

但是为了不影响jar,更灵活传参,很多参数都是通过cmd提交命令中动态传递,而不是都配置在flink-conf.yaml中。
比如:

./bin/flink run -d -m yarn-cluster -yD metrics.reporter = myreport --parallelism 10 --yarnslots 1  --class com.my.test mytestjar-1.0-SNAPSHOT.jar 

比如其中 : -yD metrics.reporter = myreport 中metrics.reporter的值是变化的,每个任务都不一样,所以没法在flink-conf.yaml中写死,但是没有在配置文件中配置,open方法中没法获取到。
这种情况经常出现flink平台提交任务中,一般针对这种配置参数相同但值变化的情况,既然没法写死,但是可以覆盖操作。

具体操作:

1.在flink-conf.yaml中配置 参数

#####
metrics.reporter: none(默认值)
#####

2.cmd提交命令中动态传参

-yD metrics.reporter = myreport 

其中,cmd中的参数名称需要和flink-conf.yaml中配置的参数名一致,这样才会动态覆盖
3.取值
最后就可以在open方法中 ,通过config获取到配置的值

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink动态CEP是指在Flink CEP(Complex Event Processing)中,能够动态地根据实时数据流进行模式匹配和事件处理的能力。引用\[1\]中提到,Flink CEP内部使用非确定有限自动机(NFA)来实现,通过一个状态图来表示模式的匹配过程。这个状态图由点和边组成,点分为起始状态、中间状态和最终状态,边分为take、ignore和proceed三种。这种设计使得Flink CEP能够根据实时数据流的变化,动态地进行模式匹配和事件处理。 Flink动态CEP的应用场景很广泛。引用\[2\]中提到了一个运维监控的例子,通过监控服务器的指标,如CPU、网络IO等,当超过阈值时产生告警。但是在实际使用中,可能会出现瞬间的流量毛刺,对于非关键链路可以忽略这些毛刺,只对频繁发生的异常进行告警,以减少误报。这就是一个动态CEP的应用场景,能够根据实时数据流的变化,动态地调整模式匹配和事件处理的规则。 此外,Flink动态CEP还支持循环模式的匹配。引用\[3\]中提到,循环模式中可以增加严格的近邻条件,保证所有匹配事件是严格连续的。一旦中间出现了不匹配的事件,当前循环检测就会终止。这种功能可以通过配合循环量词和allowCombinations()方法来实现。 总之,Flink动态CEP能够根据实时数据流的变化,动态地进行模式匹配和事件处理,适用于各种场景,包括运维监控和循环模式的匹配。 #### 引用[.reference_title] - *1* *2* [Flink: CEP详解](https://blog.csdn.net/weixin_44131414/article/details/113883061)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Flink(九)CEP](https://blog.csdn.net/ks_1998/article/details/125497083)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值