本篇文章简单了解一下Flink的工具类ParameterTool的使用。
1. ParameterTool简介
ParameterTool是Flink提供的读取程序启动参数、配置文件、环境变量以及Flink自身配置参数等配置的的一个工具类。在开发时也经常使用到它。
2. ParameterTool使用示例
2.1 从启动参数中或者配置
程序启动时,传入参数--name hello
。
获取参数:
ParameterTool parameterTool = ParameterTool.fromArgs(args);
parameterTool.get("name");
//output: hello
2.2 从程序中的properties中获取配置
在resources下新建配置文件:application.properties
内容如下:
name=hello
获取参数:
final String fileName = "application.properties";
InputStream inputStream = ParameterToolUseCase.class.getClassLoader().getResourceAsStream(fileName);
ParameterTool parameterTool;
try {
parameterTool = ParameterTool.fromPropertiesFile(inputStream);
System.out.println(parameterTool.get("name"));
//output:hello
} catch (IOException e) {
e.printStackTrace();
}
2.3 从指定路径获取外配置
我们也可以使用ParamteTool获取指定的路径的配置文件,这些配置文件需要在每个task节点都存在,否则可能获取不到:
新建D:\temp\study-flink\application.properties
,内容如下:
name=out name
final String fileName = "D:\\temp\\study-flink\\application.properties";
ParameterTool parameterTool;
try {
parameterTool = ParameterTool.fromPropertiesFile(fileName);
System.out.println(parameterTool.get("name"));
//output:out name
} catch (IOException e) {
e.printStackTrace();
}
2.4 从Map和环境变量中获取配置
There’s nothing to say.
ParameterTool parameterTool = ParameterTool.fromMap(...);
ParameterTool parameterTool = ParameterTool.fromSystemProperties();
另外ParamterTool也持支从多个地方合并配置:
parameterTool.mergeWith(other parameterTool);
3. 从配置中心获取配置
在微服务(Spring Cloud系列)中,我们常使用配置中心(例如Nacos)来集中存储和获取程序的配置,同样的,在Flink程序中,我们也可以把配置集中到配置中心Nacos来管理。具体实现可以参考下方代码,实现方式会在后续文章中进行说明。
Flink集成Nacos:
https://gitee.com/xgpxg/sim-framework/tree/sim-framework-20200621/sim-flink/flink-nacos-support