最佳实践——如何使用 Flink ParameterTool 读取配置？

已于 2022-05-09 11:38:54 修改
阅读量1.8k 收藏 3
点赞数 4
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： java flink python spark spring
于 2021-01-10 18:32:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/112455897
版权
本文介绍了在Flink中如何有效管理配置，重点讲解了ParameterTool的使用，包括读取运行参数、系统属性和配置文件，以及如何通过ParameterTool设置算子并行度。此外，还讨论了自定义配置参数类和ParameterTool的源码分析，提供了一种灵活的配置管理方案。
摘要由CSDN通过智能技术生成

点击上方 "zhisheng"关注, 星标或置顶一起成长

Flink 从入门到精通 系列文章

在使用 Flink 中不知道你有没有觉得配置的管理很不方便，比如像算子的并行度配置、Kafka 数据源的配置（broker 地址、topic 名、group.id）、Checkpoint 是否开启、状态后端存储路径、数据库地址、用户名和密码等，反正各种各样的配置都杂乱在一起，当然你可能说我就在代码里面写死不就好了，但是你有没有想过你的作业是否可以不修改任何配置就直接在各种环境（开发、测试、预发、生产）运行呢？可能每个环境的这些配置对应的值都是不一样的，如果你是直接在代码里面写死的配置，那这下子就比较痛苦了，每次换个环境去运行测试你的作业，你都要重新去修改代码中的配置，然后编译打包，提交运行，这样你就要花费很多时间在这些重复的劳动力

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件
JasonLee实时计算
10-15 2434
直接在代码里面写死。把配置信息维护在一个类里面，所有用到的地方直接引用即可。把配置信息放在项目 resource 下面的一个配置文件中，然后从这个配置文件中加载配置。把配置文件放在外部，启动任务的时候传入一个路径参数，在代码里面解析配置文件。
【Flink】Flink 使用 ParameterTool 进行传参
九师兄
06-27 2815
1.起源 写这个起源于，我有个程序，大概是这个样子的 我本地一个客户端有个MySQL读取的配置，然后开始运行的时候客户端读取一次配置，然后提交到yarn上的时候，我们的程序jdbcUtils是个静态类，而且properties文件只在客户端存在，其他是不存在的，而且我们是读取yarn上的节点读取一次就关闭连接，下次读取的时候，重新获取配置，然后此时发现读不到了。 我们禁止使用hdfs 我们禁止使用拷贝配置文件到每个机器 所以使用了ParameterTool 进行全局传参。 2.实例 2.1 from.
52、Flink 使用 Parametertool 获取应用参数详解
最新发布
猫猫爱吃小鱼粮
06-28 472
Flink 使用 Parametertool 获取应用参数详解
（十三）Flink Datastream API 编程指南 应用程序参数处理(ParameterTool)
京河小蚁的博客
06-07 329
几乎所有的批和流的 Flink 应用程序，都依赖于外部配置参数。这些配置参数可以用于指定输入和输出源（如路径或地址）、系统参数（并行度，运行时配置）和特定的应用程序参数（通常使用在用户自定义函数）。为解决以上问题，Flink 提供一个名为 Parametertool 的简单公共类，其中包含了一些基本的工具。请注意，这里说的 Parametertool 并不是必须使用的。Commons CLI 和 argparse4j 等其他框架也可以非常好地兼容 Flink。ParameterTool 定义了一组静态方法，
Flink动态读取Mysql配置程序
程序员小李的博客
10-19 483
这里通过构造MysqlConfigResource来进行创建广播流。以上就是读取mysql数据，这里很简单只是用了一个循环来轮训读取。以上是配置及maven信息。
【flink番外篇】12、ParameterTool使用示例
热门推荐
alanchanchn的专栏
01-11 3万+
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
FLINK 基于1.15.2的Java开发-如何使用外部配置文件
lifetragedy的专栏
10-03 2038
在flink内如何读入配置文件的正确用法
如何使用 Flink Connectors —— HBase？
http://www.54tianzhisheng.cn/
09-22 342
准备环境和依赖 HBase 安装 如果是苹果系统，可以使用 HomeBrew 命令安装： brew install hbase HBase 最终会安装在路径 /usr/local/Cellar/hbase/ 下面，安装版本不同，文件名也不同。 配置 HBase 打开 libexec/conf/hbase-env.sh 修改里面的 JAVA_HOME： # The java implementat...
如何使用 Flink Connectors —— Redis？
http://www.54tianzhisheng.cn/
09-22 208
在生产环境中，通常会将一些计算后的数据存储在 Redis 中，以供第三方的应用去 Redis 查找对应的数据，至于 Redis 的特性笔者不会在本节做过多的讲解。 安装 Redis 下载安装 先在 https://redis.io/download 下载到 Redis。 wget http://download.redis.io/releases/redis-5.0.4.tar.gz tar xz...
如何使用 Flink Connectors —— ElasticSearch？
http://www.54tianzhisheng.cn/
09-22 872
准备环境和依赖 ElasticSearch 安装 因为在 2.1 节中已经讲过 ElasticSearch 的安装，这里就不做过多的重复，需要注意的一点就是 Flink 的 ElasticSearch Connector 是区分版本号的。 所以添加依赖的时候要区分一下，根据你安装的 ElasticSearch 来选择不一样的版本依赖，另外就是不同版本的 ElasticSearch 还会导致下面的...
《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ
yyyyyyyyyooi的博客
06-03 761
前言 之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。 前提准备 安装...
【Flink】解析参数之ParameterTool
一杯咖啡半杯糖的博客
12-07 1845
在我们平时写程序的时候，会把很多参数提出来在命令行输入或者配置文件中读取，Flink源码中提供了解析多数据源（命令行、配置文件）的解析类ParameterTool，我们常用的就是命令行、配置文件这两种方式，省去我们自己写解析的逻辑，下面我们看下怎么使用ParameterTool
【极数系列】Flink配置参数如何获取？（06）
weixin_40736233的博客
01-29 1797
旨在帮助读者快速在开发项目中解决Flink参数如何从外部获取问题，分别是配置文件，命令行，系统属性
Flink 整合 Nacos实现动态服务配置功能Demo
u013343882的博客
02-26 3047
1 前言 当我们开发Flink程序的时候一些配置或一些规则可能需要根据系统要求或需求发生变更，一般常见的做法我们可以开启通过将配置或规则存储到数据库（如MYSQL,REDIS），然后通过在程序中我们自己通过JDBC连接的方式去读取规则。这样做比较麻烦，我们可以通过阿里开源的NACOS来协助我们实现这样的功能，NACOS 官网是如下定义的: Nacos 致力于帮助您发现、配置和管理微服务。Na...
【Flink】获取配置参数方式总结
lsr40的博客
04-24 7223
一、背景 以前写的比较多的是spark，传入外部参数，通常有两种方法： 1、用main方法传入，代码中通过args获取（基本上只要是个java程序，就可以通过这种方式来传参） 2、通过--conf 传入一个spark开头的key的配置，代码中通过sparkConf来获取对应的value（这个是spark独有的特性） 那么flink如何读取properties，又如何读取外部传入的参数呢？ 二、正文 1、main方法传入 这个其实不用多说，就是： flink run -m yarn-clust
Flink 动态更新配置，不需要重启作业
诸葛子房的博客
08-10 3829
我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： (1)改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置（） (2)通过读取配置流（需要自定义 Source 读取配置），然后流和流连接起来 (3)读取配置信息，从mysql或者redis 今天介绍的是一种用配置中心。携程 apollo、spring cloud config、nacos 等 Flink op.
java Flink（三）用parameter tool工具从程序启动参数中提取配置
qq_40771567的博客
03-23 1719
parameter tool工具可以从程序启动参数中提取配置信息 //用parameter tool工具从程序启动参数中提取配置 ParameterTool parameterTool = ParameterTool.fromArgs(args); String host = parameterTool.get("host"); int port = parameterTool.getInt("port"); 然后配置参数 ...
Flink传入自定义的参数或配置文件
lck_csdn的博客
06-09 1395
Flink传入自定义的参数或配置文件
flink 动态读取配置文件
04-28
Flink 动态读取配置文件指的是Flink在运行过程中可以通过某种方式动态的读取配置文件的信息，从而更新应用程序的配置，达到动态修改Flink应用行为的目的。Flink动态读取配置文件的实现方式主要包括两种方法，一种是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值