Flink内核源码解析系列（三）：加载全局配置

最新推荐文章于 2022-11-11 18:14:06 发布
最新推荐文章于 2022-11-11 18:14:06 发布
阅读量215 收藏
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117599089
版权
本文是Flink内核源码解析系列的第三篇，主要探讨如何加载全局配置。文章从loadConfiguration方法入手，详细阐述了配置加载的过程，包括如何处理动态属性和在YARN模式下的配置应用。
摘要由CSDN通过智能技术生成

在上一篇文章《Flink内核源码解析系列（二）：如何从环境变量中获取配置目录？》中讲到了如何找到配置所在的目录，本文开始将加载配置。

final Configuration configuration = GlobalConfiguration.loadConfiguration(configurationDirectory);

loadConfiguration将上一篇文章中找到的目录地址传了进来，进这个方法：

public static Configuration loadConfiguration(final String configDir) {
   
        return loadConfiguration(configDir, null);
    }

null指的是dynamicProperties，yarn模式用不到这个动态参数，所以是null

再进这个方法：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Better~Me
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
BAT 大厂Java 面试题集锦之核心篇附参考答案

				
			

			

				

					程序员光剑
				

				

					11-05
					
					1万+
					
				

			

		

		

			
				
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...

			
		

	



                

              
                



	

		

			

				
					
Flink全局使用的配置信息如何加载

				
			

			

				

					wppwpp1的专栏
				

				

					05-12
					
					825
					
				

			

		

		

			
				
1.要全局的配置放入config里，然后放入环境中：
env.getConfig().setGlobalJobParameters(config);





2.组件的open方法里：
ExecutionConfig.GlobalJobParameters globalJobParameters = getRuntimeContext().getExecutionConfig().getGlobalJobParameters();
Map<String, String> globConf = 

			
		

	



                


  
              

                


	

		

			

				
					
指定webapi 返回 json 格式  ; GlobalConfiguration.Configuration.Formatters.Clear()

				
			

			

				

					
				

				

					07-07
					
					505
					
				

			

		

		

			
				
因为 Internet Explorer 和 Firefox 发送了不同的 Accept 头，所以 web API 在响应里就发送了不同的内容类型。    解决方法,在 Global.asax的 Application_Start() 加入下面的代码  GlobalConfiguration.Configuration.Formatters.XmlFormatter.Supported...

			
		

	





	

		

			

				
					
PE文件格式学习（十三）：载入配置表(LoadConfigurationDirectory)

				
			

			

				

					tutucoo
				

				

					11-08
					
					932
					
				

			

		

		

			
				
1.介绍
载入配置表早期是用于描述当PE文件头或PE可选头无法描述或者因为太大而无法描述的各种功能。
后来以XP及以后的系统主要是为了存储SEH句柄，称为安全结构化异常处理程序列表，如果SEH异常处理没有经过注册，在载入配置表中没有句柄，这个异常处理就不会被执行。
具体的例子就不演示了，看起来只要是正规编写的程序都会在表中注册，因此都可以执行。
据微软官方说明，这个载入配置表的作用是为了防止“x8...

			
		

	



		

			
		



	

		

			

				
					
C# 当前上下文中不存在名称“GlobalConfiguration”

				
			

			

				

					qq_16313575的博客
				

				

					08-07
					
					3837
					
				

			

		

		

			
				
global.asax.cs中的这行报错

GlobalConfiguration.Configure(WebApiConfig.Register);

解决办法：

引用：System.Web.Http 5.2.3.0版dll

并且引用：System.Web.Http.WebHost5.2.3.0版dll

下载网址：https://download.csdn.net/download...

			
		

	





	

		

			

				
					
System.Web.Http.GlobalConfiguration 并不包含“Configure”的定义

					
热门推荐

				
			

			

				

					junyong的专栏
				

				

					09-23
					
					1万+
					
				

			

		

		

			
				
在VS.NET 2013中，新建WebAPI项目，代码总的
GlobalConfiguration.Configure(WebApiConfig.Register);
编译时会提示：System.Web.Http.GlobalConfiguration 并不包含“Configure”的定义
实际是因为vs2013默认没有安装webapi的包，解决方法如下：

通过   工具->库程序包管

			
		

	





	

		

			

				
					
Flink面试题

				
			

			

				

					qq_34936033的博客
				

				

					05-17
					
					4954
					
				

			

		

		

			
				
关于spark和flink我可能会问这20个问题,当然并不是说简单回答一下就可以了,每一个题都可以引申很多问题,拿第一个问题来说,里面还有很多东西,比如spark的依赖关系是存在什么地方?RDD的宽窄依赖划分等? 因为你如果什么问题都问,问三天三夜都问不完,所以一定有针对性,而且后面一定会有模拟场景现场编程的问题,因为上面的问题都是偏原理的,你不会你也可以背下来,但是编程就考验你的真实水平了,比如给你一个实时计算的场景,让你写出主要的代码实现.这也是为什么我在星球里面很少分享原理性的东西,更多的怎么解决真实

			
		

	





	

		

			

				
					
消息中间件之二：kafka详解

				
			

			

				

					企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
				

				

					09-02
					
					634
					
				

			

		

		

			
				
概述
Kafka是一种分布式的，基于发布/订阅的消息系统。
整理中……



			
		

	





	

		

			

				
					
Java 学习路线大全，再也不用迷路啦（持续更新）

				
			

			

				

					腾讯全栈-ITCJF
				

				

					10-14
					
					2757
					
				

			

		

		

			
				
路线特点

最新，完整一条龙，从入门到入土（⭐ 表示推荐学习）
给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等）
划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能

前言

首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java
的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。

阶段 1：Java 入门
目标
培养兴趣、快速上手
前期准备


准备好一款在线、随时随地

			
		

	





	

		

			

				
					
flink教程-详解flink 1.11中的新部署模式-Application模式

				
			

			

				

					公众号[大数据技术与应用实战]，分享大数据实战案例
				

				

					07-22
					
					6975
					
				

			

		

		

			
				
目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。session模式共享资源，如果一个任务出现了问题，会影响其他的任务，per job模式需要有大量的jar和资源拷贝，并且生成JobGraph都是在本地做的，如果任务多的话，会给服务器造成很大的压力，所以flink引入了application模式。Yarn Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master，然后在 Master 端进行任务的提交

			
		

	





	

		

			

				
					
【Flink源码篇】Flink提交流程之flink-conf.yaml的解析和3种flink命令行客户端的添加

				
			

			

				

					Bulut0907
				

				

					09-07
					
					1885
					
				

			

		

		

			
				
上篇，我们讲解了EnvironmentInformation.logEnvironmentInfo函数。主要是log4j2日志框架如何绑定到Flink、log4j2配置文件和日志路径的定义这篇我们来讲解Flink的flink-conf.yaml和flink命令自定义参数解析。

			
		

	





	

		

			

				
					
【Flink源码系列】Flink 源码分析之 Client 端启动流程分析

				
			

			

				

					JasonLee实时计算
				

				

					05-20
					
					2236
					
				

			

		

		

			
				
抛出问题首先来思考一个问题，我们在提交 Flink 任务的时候，在 Flink 客户端执行了下面的命令后，Flink 客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。flinkrun-d-myarn-cluster\
-Dyarn.application.name=FlinkStreamingNewDemoHome\
-Dya...

			
		

	





	

		

			

				
					
Flink Cluster On YARN部署

				
			

			

				

					shirukai
				

				

					09-23
					
					2135
					
				

			

		

		

			
				
Flink Cluster On YARN部署

Flink版本：1.8.2
Hadoop: 3.0.3

参考文章：
文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/
Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe

			
		

	





	

		

			

				
					
Flink1.15源码解析--任务提交流程----flink run

					
最新发布

				
			

			

				

					chbxw
				

				

					11-11
					
					1204
					
				

			

		

		

			
				
flink-1.15源码解析-- 任务提交

			
		

	





	

		

			

				
					
Flink动态添加依赖Jar包提交到Yarn

				
			

			

				

					upupfeng的博客
				

				

					02-06
					
					3787
					
				

			

		

		

			
				
背景
开发的flink程序，要使用yarn-cluster的方式进行部署。
程序中依赖了很多第三方jar包，不想用shade那种打包方式打成一个大jar包，然后提交。
想将应用程序jar包和依赖jar包分开，依赖的jar包在提交时一起提交上去（像spark on yarn直接指定“–jars”这样），但是找了好久发现flink官方没有提供这样的方式。
直接将依赖的jar包放在flink的lib目录下，可以实现，但是感觉这样会污染flink的lib包。
于是找到了如下方法，可以实现类似的功能。在此记录分享一下

			
		

	





	

		

			

				
					
最简单的一个WebApi项目

				
			

			

				

					weixin_44019016的博客
				

				

					08-07
					
					873
					
				

			

		

		

			
				
创建后端WebApi



我当时是在一个MVC项目开始。



首先，直接在控制器文件夹controllers里，右键，选择空的WebApi



然后，就生成了一个WebApi的Controller，



需要注意的是，微软生成之后 ，弹出了这个页面，需要去处理：



Visual Studio 已向项目“Yoyo.MobileWebPortal”添加 ASP.NET Web A...

			
		

	





	

		

			

				
					
Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！

				
			

			

				

					徐腾瑞的博客
				

				

					07-15
					
					1万+
					
				

			

		

		

			
				
系列文章目录

Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！

Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！

Flink使用指南: Kafka流表关联HBase维度表

Flink使用指南: Watermark新版本使用

Flink使用指南: Flink SQL自定义函数




设置全局变量

Flink允许将自定义的配置传递给ExecutionConfig的环境接口，由于执行配置科在所有的用户功能中访问，因此自定义配置将在所有功能中全局可用。


Conf

			
		

	





	

		

			

				
					
3. Flink的部署

				
			

			

				

					Leeyehong_self的专栏
				

				

					03-21
					
					1514
					
				

			

		

		

			
				
1. Flink的部署模式
1.1 本地模式
1.1.1 介绍
1）包含:
   linux环境
   windows环境或mac os环境
2）适用场景:
   开发阶段，通过本地模式验证程序的正确性

1.1.2 效果演示
1.1.2.1 配置flink_home
[robin@node01 module]$ sudo vi /etc/profile
export FLINK_HOME=/op...

			
		

	





	

		

			

				
					
深入解析Flink源码：构建数据流处理流程

				
			

			

				

					
				

			

		

		

			
				
本文将深入探讨Flink的源码，解析其架构和核心组件，以及项目实施的流程。  在Flink的架构中，主要由以下几个关键部分组成：  1. **Source**：数据的源头，可以是各种类型的数据流，如Socket Stream、Kafka、文件等...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Better~Me

			
谢谢小可爱，希望你每天都开心~

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值