Flink 整合 Apollo，动态更新 Flink 作业配置

已于 2022-05-12 10:21:07 修改
阅读量1.5k 收藏 3
点赞数 2
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： flink 大数据 big data
于 2020-02-26 09:03:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/104528921
版权
本文介绍了如何将Flink与Apollo整合，实现动态更新Flink作业配置。Apollo作为携程的分布式配置中心，提供环境、集群配置的集中管理，并能实时推送配置变更。虽然Apollo的安装相比Nacos更复杂，但官方文档详尽，适合微服务配置管理。作者提供了一个快速上手的本地部署指南和B站视频教程，帮助读者进行实战操作。
摘要由CSDN通过智能技术生成

在上一篇讲解 Flink 与 Nacos 整合的视频 中，讲过了常见的几种更新配置的方法，最常使用的可能就是通过广播流的方式，相信看完上个视频的，估计对整合 Nacos 做动态更新配置应该问题不大，zhisheng 我也觉得稍微简单，尤其 Nacos 搭建安装也比较简单。不知道大家公司有没有使用 Nacos 呢？我知道有的公司使用 Apollo 居多，所以后面就有读者问我能不能出个整合 Apollo 的视频，所以我趁着周末大晚上的时间就开始折腾了一番，本篇文章将给大家讲解与 Apollo 整合，动态的更新 Flink 配置。

Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能

了解本专栏 订阅专栏 解锁全文
1.6 使用 FlinkCDC 同步实时数据
在路上的专栏
07-03 1617
Flink CDC 是基于 Apache Flink 和 Debezium 的实时数据采集工具，能够捕获数据库变更数据并进行实时处理。它支持 MySQL、PostgreSQL 等数据库，通过与 Flink 无缝集成，实现低延迟、高吞吐量的数据处理。Flink CDC 适用于实时数据同步、实时分析和事件驱动架构等场景。本文详细介绍了 Flink CDC 的概述、架构、基本工作流程、使用场景、优缺点、部署安装、使用案例和性能优化，为读者提供了全面的理解和实践指南。
flink整合apollo
ASN_forever的博客
03-11 1194
1.使用flink的maven骨架快速创建一个maven项目 2.添加apollo及其他所需依赖 <!-- apollo --> <dependency> <groupId>com.ctrip.framework.apollo</groupId> <artifactId>apollo-client</art...
Flink接入apollo简单示例
WYRM
07-24 1854
1、创建配置文件 apollo官网示例显示java api使用配置文件方式如下： 配置文件内容： app.id=java-apollo-test-20190724 apollo.meta=http://apollo-server:10080 apollo.cacheDir=./cache 2、示例代码 public class StreamingJo...
apollo集群部署_Flink 整合 Apollo，动态更新 Flink 作业配置
weixin_39791152的博客
11-23 276
本人自己录的视频，讲解 Flink 整和 Apollo，动态更新作业配置，无需重启作业在上一篇讲解 Flink 与 Nacos 整合的视频 中，讲过了常见的几种更新配置的方法，最常使用的可能就是通过广播流的方式，相信看完上个视频的，估计对整合 Nacos 做动态更新配置应该问题不大，zhisheng 我也觉得稍微简单，尤其 Nacos 搭建安装也比较简单。不知道大家公司有没有使用 Nacos 呢？...
Flink集成Apollo获取配置V2
Mathieu66的博客
04-28 1386
上一篇介绍了使用基础Java客户端接入Apollo的示例,有同学反映在分布式环境下获取不到Apollo配置，只能在main方法中初始化使用,姿势不够优雅。 这里将Apollo的Java客户端将Flink官方推荐的ParameterTool结合使用，以解决该问题。 package org.example; import com.ctrip.framework.apollo.ConfigFil...
Flink/Spark 如何实现动态更新作业配置
02-22 477
原文链接https://cloud.tencent.com/developer/article/1483745
flink-kafka-hbase:功能：实现kafka消息实时落地hbase，支持csvjson字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)， 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心
05-26
flink-kafka-hbase 功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能) 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心 配置： { "indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系 "0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定 "1": "basic:user_id",
Flink 整合 Nacos，让 Flink 作业配置动态更新不再是难事
jishulaozhuanjia的博客
03-05 425
个人博客导航页（点击右侧链接即可打开个人博客）：互联网老兵带你入门技术栈 我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： 改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置 通过读取配置流（需要自定义 Source 读取配置），然后流...
flink动态业务规则
08-18
在 Flink 中集成 Apollo，可以实现在不重启任务的情况下，通过 Apollo 平台动态修改 Flink 作业的配置，如业务规则。当业务规则发生变化时，Apollo 可以将新的规则推送到 Flink 作业，作业会自动应用这些更新，无需...
Flink动态窗口(动态window参数)
物联网三分钟
09-28 2906
原文Stack Overflow上的大卫安德森的回答 Flink的窗口API不支持动态更改窗口大小。 需要自己用KeyedProcessFunction实现动态窗口参数 下面例子中的durationMsec就是窗口长度.我也是参照这个例子改的,把durationMsec通过传入元素的某个字段来请求获取.然后用Guava Cache缓存一定时间即可 public class PseudoWindow extends KeyedProcessFunction<String, KeyedDataPoint&
Flink 动态更新配置，不需要重启作业
诸葛子房的博客
08-10 3967
我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： (1)改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置（） (2)通过读取配置流（需要自定义 Source 读取配置），然后流和流连接起来 (3)读取配置信息，从mysql或者redis 今天介绍的是一种用配置中心。携程 apollo、spring cloud config、nacos 等 Flink op.
Flink 整合 Nacos，动态更改作业配置！
bigdata_player
03-30 1942
我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： 改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置 通过读取配置流（需要自定义 Source 读取配置），然后流和流连接起来 这两种解决方法一般是使用的比较多，对于第一种方法...
Flink集成Apollo实现获取配置信息
Mathieu66的博客
04-04 1691
Apollo GitHub地址（除了代码，都是中文）：https://github.com/ctripcorp/apollo Java客户端使用指南：https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97 开始之前多说两句，这...
一种动态更新flink任务配置的方法
0x3E6
04-25 4470
通过添加控制流的方式实现flink任务配置的动态更新
flink 作业动态维护更新，不重启flink,不提交作业
最新发布
qq_30517167的博客
06-06 414
Flink任务实时获取并更新规则_flink任务流实时变更-CSDN博客一种动态更新flink任务配置的方法_flink 数据源 动态更新-CSDN博客https://zhuanlan.zhihu.com/p/657880281
Flink教程（13）- Flink高级API（状态管理）
阿甘兄
03-08 2071
文章目录01 引言02 Flink中的有状态计算03 有状态和无状态计算3.1 无状态计算3.1.1 无状态计算特点3.1.2 无状态计算例子（消费延迟计算）3.2 有状态计算3.2.1 有状态计算特点3.2.2 有状态计算例子（访问量统计）3.2.3 有状态计算的场景04 状态的分类4.1 Managed State & Raw State4.2 Keyed State & Operator State4.2.1 Keyed State4.2.2 Operator State05
Flink 动态读取Nacos配置
Mathieu66的博客
06-22 2045
1.需求：实时读取Nacos的配置，打印在控制台 2.额外的依赖： <dependency> <groupId>com.alibaba.nacos</groupId> <artifactId>nacos-client</artifactId> <version>1.4.2</version> </dependency> 代码 很简单,就直接贴了 packa
Flink全局使用的配置信息如何加载
wppwpp1的专栏
05-12 868
1.要全局的配置放入config里，然后放入环境中： env.getConfig().setGlobalJobParameters(config); 2.组件的open方法里： ExecutionConfig.GlobalJobParameters globalJobParameters = getRuntimeContext().getExecutionConfig().getGlobalJobParameters(); Map<String, String> globConf =
Flink简单运用Demo
热门推荐
寻找手艺人的专栏
03-20 1万+
1、构建maven工程 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> <...
Flink动态规则管理：零停机业务逻辑更新
Apollo是其中一种流行的配置中心解决方案，可以通过Apollo动态地更新Flink作业中的配置项。 - 重写类中的方法：Flink允许用户自定义函数，如ProcessFunction或RichFunction，这些函数提供了更细粒度的控制。当需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值