【Flink】Flink 使用 ParameterTool 进行传参

最新推荐文章于 2023-06-11 22:25:16 发布
最新推荐文章于 2023-06-11 22:25:16 发布
阅读量2.8k 收藏 3
点赞数 1
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106697668
版权
大数据-flink 专栏收录该内容
837 篇文章 838 订阅 ¥99.90 ¥99.00
订阅专栏

在这里插入图片描述

1.起源

写这个起源于，我有个程序，大概是这个样子的
在这里插入图片描述
我本地一个客户端有个MySQL读取的配置，然后开始运行的时候客户端读取一次配置，然后提交到yarn上的时候，我们的程序jdbcUtils是个静态类，而且properties文件只在客户端存在，其他是不存在的，而且我们是读取yarn上的节点读取一次就关闭连接，下次读取的时候，重新获取配置，然后此时发现读不到了。

  1. 我们禁止使用hdfs
  2. 我们禁止使用拷贝配置文件到每个机器

所以使用了ParameterTool 进行全局传参。

2.实例

2.1 fromPropertiesFile

Stri
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
最佳实践——如何使用 Flink ParameterTool 读取配置？
http://www.54tianzhisheng.cn/
01-10 1840
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章在使用 Flink 中不知道你有没有觉得配置的管理很不方便，比如像算子的并行度配...
（十三）Flink Datastream API 编程指南 应用程序参数处理(ParameterTool)
京河小蚁的博客
06-07 311
几乎所有的批和流的 Flink 应用程序，都依赖于外部配置参数。这些配置参数可以用于指定输入和输出源（如路径或地址）、系统参数（并行度，运行时配置）和特定的应用程序参数（通常使用在用户自定义函数）。为解决以上问题，Flink 提供一个名为 Parametertool 的简单公共类，其中包含了一些基本的工具。请注意，这里说的 Parametertool 并不是必须使用的。Commons CLI 和 argparse4j 等其他框架也可以非常好地兼容 Flink。ParameterTool 定义了一组静态方法，
如何在flink中传递参数
大JAVA解决方案
03-12 3908
如何在flink中传递参数 众所周知，flink作为流计算引擎，处理源源不断的数据是其本意，但是在处理数据的过程中，往往可能需要一些参数的传递，那么有哪些方法进行参数的传递？在什么时候使用？这里尝试进行简单的总结。 使用configuration 　　在main函数中定义变量 1 // Class in Flink to store parameters 2 Configuration...
flink 命令行提交jar时，传入自定义的参数或配置文件，任务运行时获取参数
热门推荐
不是一枚开发
09-30 7万+
Flink提供ParameterTool类，从不同的来源读取参数； 1.fromArgs（） 即可读取在命令行中传递的参数，注意传参 格式为 key value ，key必须以 - 或者 – 开头 2.fromPropertiesFile 若传递的参数多，可以在命令行中使用fromArgs传递 PropertiesFile 的文件路径，然后再运用此方法读取配置文件中的参数。 3.DEMO public class Demo { public static void main(String[.
聊聊flink的ParameterTool
weixin_34247032的博客
02-15 1566
序 本文主要研究一下flink的ParameterTool 实例 fromPropertiesFile String propertiesFilePath = "/home/sam/flink/myjob.properties"; ParameterTool parameter = ParameterTool.fromProperties...
flink使用手册1
08-08
此外，Flink还支持更复杂的操作，如`Window`，它允许在特定时间窗口上进行聚合操作，如时间滑动窗口或会话窗口。`Aggregation`操作如`min`, `max`, `sum`等可用于对窗口中的数据进行分组聚合。`minBy`和`maxBy`不仅...
使用Flink CEP 进行地理情形检测的实践.pdf
03-13
"使用Flink CEP 进行地理情形检测的实践" 这篇文章主要介绍了使用 Apache Flink 的 Complex Event Processing（CEP）进行地理情形检测的实践经验。CEP 是一种专门用于实时处理和分析大量事件流的技术，广泛应用于 ...
flink table 使用
01-02
在大数据处理领域，Apache Flink 是一款强大的流处理框架，其Table API 提供了一种声明式的数据处理方式，便于开发者进行复杂的数据分析。本篇将深入探讨如何在Flink中使用Table API，以及如何结合Kafka实现数据流的...
实验8 Flink初级编程实践
06-28
在Linux操作系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR包，提交到Flink中运行。 安装Flink并启动： 安装maven： 使用IntelliJ IDEA写java： 使用maven打包JAR包 运行JAR包...
Flink安装及使用 - 简书.pdf
02-29
flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战
Flink获取外部传递参数的两种方式
mcdull213的博客
06-11 4724
目录 一、前言 二、实现 2.1 通过参数方式直接传递 2.2 通过配置文件来获取参数值 一、前言 在Spark或者Flink中，我们会对接Kafka，Kafka的参数比较多，如果我们希望通过灵活的方式修改参数，而不是把参数值硬编码到代码中，那么可以通过以下两种方式。 二、实现 我们可以使用Java的内置工具类ParameterTool.get()的方式获取传递的参数值 2.1 通过参数方式直接传递 /** * 从args中获取参数值 * 工具类：org.apac.
Flink传递参数给函数
最新发布
南风知我意
06-11 185
Flink传递参数给函数
22.flink参数工具 ParameterTool
笔生花的博客
08-19 1403
参数很重要，有时候参数被配置在配置文件中， 有时候我们可能会通过控制台传递参数，可以说参数很多地方都会用到，基于此，flink提供了一个工具可以很方便的读取参数，可以通过配置文件，也可以通过控制台，甚至我们可以把参数广播到全局，乃至于每个算子内部都可以访问到此参数。
在 Flink 应用程序中传递和使用参数
magic_kid_2010的专栏
01-09 5567
几乎所有的 Flink 应用程序，包括批处理和流处理，都依赖于外部配置参数，这些参数被用来指定输入和输出源(如路径或者地址)，系统参数(并发数，运行时配置)和应用程序的可配参数(通常用在自定义函数中)。 Flink 提供了一个简单的叫做 ParameterTool 的使用工具，提供了一些基础的工具来解决这些问题，当然你也可以不用这里所描述的ParameterTool，使用其他的框架，如：Comm...
Flink进阶（二）：使用 ParameterTool 读取配置
weixin_42155491的博客
04-05 5704
在Flink中会有很多配置，比如像算子的并行度配置、Kafka 数据源的配置（broker 地址、topic 名、group.id）、Checkpoint 是否开启、状态后端存储路径、数据库地址、用户名和密码等。这些配置肯定不能写死在代码中，需要在配在配置文件中。 先指定环境 可以先配置一个application.properties，里面配置哪个环境，比如 ykc.profile=dev #yk...
flink的ParameterTool
大数据技术分享中心
03-09 1116
实例 fromPropertiesFile String propertiesFilePath = "/home/sam/flink/myjob.properties"; ParameterTool parameter = ParameterTool.fromPropertiesFile(propertiesFilePath); File propertiesFile = new File(propertiesFilePath); ParameterTool parameter = ParameterTo
如何使用 Flink ParameterTool 读取配置？
http://www.54tianzhisheng.cn/
09-22 1808
在使用 Flink 中不知道你有没有觉得配置的管理很不方便，比如像算子的并行度配置、Kafka 数据源的配置（broker 地址、topic 名、group.id）、Checkpoint 是否开启、状态后端存储路径、数据库地址、用户名和密码等，反正各种各样的配置都杂乱在一起，当然你可能说我就在代码里面写死不就好了，但是你有没有想过你的作业是否可以不修改任何配置就直接在各种环境（开发、测试、预发、生...
【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件
JasonLee实时计算
10-15 2326
直接在代码里面写死。把配置信息维护在一个类里面，所有用到的地方直接引用即可。把配置信息放在项目 resource 下面的一个配置文件中，然后从这个配置文件中加载配置。把配置文件放在外部，启动任务的时候传入一个路径参数，在代码里面解析配置文件。
创建第一个Mybatis程序
weixin_49149614的博客
09-20 263
创建第一个Mybatis程序 一.搭建开发环境 1.创建Maven项目 不需要使用任何模板，直接next，创建最简单的Maven工程 2.删除src包 3.配置父工程的pom文件 在你的pom文件中的如下配置代表父工程 <groupId>com.zlq</groupId> <artifactId>Mybatis1</artifactId> <version>1.0-SNAPSHOT</version> 导入依赖，Mysql ja

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值