Flink内核源码解析系列（二）：如何从环境变量中获取配置目录？

最新推荐文章于 2024-01-29 00:15:00 发布
最新推荐文章于 2024-01-29 00:15:00 发布
阅读量180 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117598676
版权
本文是Flink内核源码解析系列的第二篇，主要探讨了如何在`CliFrontend#main`方法中通过`getConfigurationDirectoryFromEnv`获取配置目录。该方法首先尝试从`FLINK_CONF_DIR`环境变量读取Flink的conf目录，如果不存在，则会检查相对路径'.../conf'或'conf'。
摘要由CSDN通过智能技术生成

上一篇文章《Flink内核源码解析系列（一）：如何找到程序入口？》中降到了如何找到入口类。

接下来讲org.apache.flink.client.cli.CliFrontend#main方法中的getConfigurationDirectoryFromEnv方法

final String configurationDirectory = getConfigurationDirectoryFromEnv();

点进这个方法可以看到：

    public static String getConfigurationDirectoryFromEnv()
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
如何使用 Flink ParameterTool 读取配置？
http://www.54tianzhisheng.cn/
09-22 1834
在使用 Flink 中不知道你有没有觉得配置的管理很不方便，比如像算子的并行度配置、Kafka 数据源的配置（broker 地址、topic 名、group.id）、Checkpoint 是否开启、状态后端存储路径、数据库地址、用户名和密码等，反正各种各样的配置都杂乱在一起，当然你可能说我就在代码里面写死不就好了，但是你有没有想过你的作业是否可以不修改任何配置就直接在各种环境（开发、测试、预发、生...
Flink Configuration简介
热门推荐
lmalds的专栏
12-19 1万+
Flink configuration
Flink-获取环境变量
bin330720911的专栏
03-27 3185
val env = ExecutionEnvironment.getExecutionEnvironment    val conf = env.getConfig //获取执行环境的配置  //conf进行如下配置  //    conf.setExecutionRetryDelay(5)  //    conf.disableClosureCleaner()  conf.setParallel...
在程序中获得环境变量
Akun6的专栏
04-04 634
vi编辑器，终端输入vi getenv.c输入i进行编辑：#include #include int main() { char *env_path="PATH";//打算获取的环境变量名称 char *env_value=NULL;//环境变量值 env_value=getenv(env_path);//使用系统函数获取指定环境变量 if(NULL==env_value)//检查是否获取到变量的值 printf("Not find!/n"); printf("Get ENv Path
Flink Configuration 配置文件的配置
半吊子Kyle的博客
05-02 1万+
Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup ｜ 默认配置 引流：FLINK 的命令 FLINK 的配置 Flink执行说明 对 FLINK 的运行命令做完整的介绍 参考文章： Flink Configuration - flink-conf.yaml 中的配置 Flink Memory Configuration - 内存配置 Flink Command-Line - 命令行中的配置 Flink Config
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— ...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
本篇将深入讲解如何利用 Flink 的 Checkpoint 机制从已保存的状态中恢复数据。 首先，我们需要理解什么是 Flink 的 Checkpoint。Checkpoint 是 Flink 在处理无界数据流过程中的一种状态保存策略。当任务执行到某个...
Flink-CEPplus:基于flink 1.8源码二次开发，详见MD
03-23
Flink1.8.1-CEPplus基于Flink1.8.1源码为CEP模块添加逻辑动态注入功能功能描述: 使用CEP作为复杂事件处理引擎时,当逻辑频繁发生修改,以及阈值频繁调整时 整个程序需要停止后,修改代码,重新打包程序然后给集群提交，...
Flink 开发环境搭建和应用的配置部署及运行.pdf
05-21
为了搭建Flink的开发环境并部署和运行Flink应用，需要进行一系列的配置和准备工作。 首先，搭建Flink的开发环境需要安装Java开发工具包（JDK），因为Flink是用Java和Scala编写的。针对不同操作系统，安装JDK的步骤...
flink-source-code-analysis:Apache Flink源码分析系列，基于git tag 1.1.2
03-24
flink-源代码分析Apache Flink源码分析系列，基于git tag 1.1.2 Apache Flink被视为第四代的大数据处理框架，它融合了流式计算和批处理【批处理被视为流式计算的特例】在流式计算方面，使用分布式快照【检查点】实现...
常见的Flink开发环境变量
Chen_dufu的博客
09-05 765
常见的Flink在windows的开发环境变量
FlinkConfig配置类
qq_39291431的博客
09-30 406
【代码】FlinkConfig配置类。
flink 读取外部.properties的配置文件
u012447842的博客
02-02 1万+
简述： flink JOB中的环境配置信息全部从代码里面抽出来放到配置文件中去。 主要讲一下对flink 自带的ParameterTool 的使用细节，以及遇到的问题，如何解决。 有三种方案： 1： 使用flink 的 Configuration 2： 采用广播变量 3： 使用flink 自带的ParameterTool读取外部配置文件 我这里介绍的是第三种方案： 使用flink 自带的ParameterTool读取外部配置文件 Flink 文档地址：https://github.com/apache/f
【极数系列】Flink配置参数如何获取？（06）
最新发布
weixin_40736233的博客
01-29 1748
旨在帮助读者快速在开发项目中解决Flink参数如何从外部获取问题，分别是配置文件，命令行，系统属性
【Flink】获取配置参数方式总结
lsr40的博客
04-24 7128
一、背景 以前写的比较多的是spark，传入外部参数，通常有两种方法： 1、用main方法传入，代码中通过args获取（基本上只要是个java程序，就可以通过这种方式来传参） 2、通过--conf 传入一个spark开头的key的配置，代码中通过sparkConf来获取对应的value（这个是spark独有的特性） 那么flink如何读取properties，又如何读取外部传入的参数呢？ 二、正文 1、main方法传入 这个其实不用多说，就是： flink run -m yarn-clust
第七章 Ambari二次开发之自定义Flink服务 -- configuration配置目录详解
qq_27924553的博客
10-28 936
Ambari二次开发之自定义Flink服务 -- configuration配置目录详解
Flink分布式缓存和广播变量的讲解
Bulut0907
10-24 1279
目录1. Maven项目准备3. DataSet专用转换算子3.1 聚合转换算子3.1.1 reduce3.1.2 aggregate3.1.3 distinct3.2 分区转换算子3.2.1 partitionByHash、partitionByRange、sortPartition3.2.2 mapPartition3.3 排序转换算子3.3.1 MinBy / MaxBy、First-N3.4 关联转换算子3.4.1 join、leftOuterJoin、rightOuterJoin、fullOute
Flink原理与调优
寒暄的博客
03-18 3841
Flink提交流程(Yarn-Per-Job) 1. client运行脚本提交命令。 2. CliFrontend实例化CliFrontendParser进行参数解析。 3. CliFrontend实例化YarnJobClusterExecutor并创建客户端。 4. 在客户端中实例化YarnClusterDescriptor封装YarnClient信息，包含提交参数和命令。 5. 将信息提交给RM。 6. RM向NM的yarnRMClient发送消息，启动APPmaster。 7. NM分配资源生成AP
Flink初学者指南：开发环境配置与应用运行
本文档主要介绍了Apache Flink的基本启动流程，特别是如何在本地搭建Flink开发环境，并提供了关于配置、部署和运行Flink应用的基础知识。针对初次接触Flink的开发者，文章旨在帮助他们快速上手开发和调试工作。 ###...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值