Flink源码第一篇：Flink之Job启动流程

最新推荐文章于 2024-03-29 01:12:46 发布
最新推荐文章于 2024-03-29 01:12:46 发布
阅读量1.2k 收藏
点赞数
分类专栏： 大数据学习资料
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huzechen/article/details/102951995
版权
大数据学习资料 专栏收录该内容
17 篇文章 29 订阅 ¥39.90 ¥99.00
订阅专栏

Flink启动Job

$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar

先看一下flink脚本内部调度流程

cat flink

640?wx_fmt=png

大家可以看到flink内部执行流程

  • 初始化config

  • 调用CliFrontend

 

640?wx_fmt=png

CliFrontend

类目录：package org.apache.flink.client.cli;	
打开这个类大家可以看到熟悉的命令

 

640?wx_fmt=png


 



                

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  小晨说数据
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
Flink命令行启动Job任务

				
			

			

				

					平凡的运维之路的博客
				

				

					04-11
					
					453
					
				

			

		

		

			
				
Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。

			
		

	



                

              
                



	

		

			

				
					
Flink 1.13 源码解析——JobManager启动流程概览

				
			

			

				

					EdwardWang_的博客
				

				

					08-25
					
					1855
					
				

			

		

		

			
				
Flink 1.13 源码解析之 JobManager启动流程

			
		

	



                


  
              

                


	

		

			

				
					
Flink集群主节点JobManager启动分析(standalone模式)

					
最新发布

				
			

			

				

					weixin_44852067的博客
				

				

					03-29
					
					632
					
				

			

		

		

			
				
Flink集群的资源管理器，负责slot的管理和申请工作。Dispatcher负责接收客户端提交的 JobGraph，随后启动一个Jobmanager，类似 Yarn中的ApplicationMaster角色，类似Spark中的Driver角色。JobManager负责一个具体job的执行，在Flink集群中，可能会有多个JobManager 同时执行，job的主控层序。

			
		

	





	

		

			

				
					
flink源码分析 - flink命令启动分析

				
			

			

				

					u011250186的博客
				

				

					01-14
					
					739
					
				

			

		

		

			
				
flink源码分析 - flink命令启动分析

			
		

	



		

			
		



	

		

			

				
					
Flink1.15源码解析--启动JobManager----Dispatcher启动

				
			

			

				

					chbxw
				

				

					11-14
					
					442
					
				

			

		

		

			
				
Flink1.15源码解析--启动JobManager----ResourceManager启动

			
		

	





	

		

			

				
					
Flink源码编译启动

				
			

			

				

					桃子的博客
				

				

					04-12
					
					574
					
				

			

		

		

			
				
idea+jdk8+maven在windows上启动flink1.16源码

			
		

	





	

		

			

				
					
flink启动job_Flink源码第一篇：Flink之Job启动流程

				
			

			

				

					weixin_34175388的博客
				

				

					01-30
					
					661
					
				

			

		

		

			
				
Flink启动Job$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar先看一下flink脚本内部调度流程cat flink大家可以看到flink内部执行流程初始化config调用CliFrontendCliFrontend类目录：package org.apache.flink.client.cli;打开这个类大家...

			
		

	





	

		

			

				
					
Flink源码解析.zip

				
			

			

				

					06-04
				

			

		

		

			
				
5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动  6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动  7、Flink 源码解析 —— ...

			
		

	





	

		

			

				
					
michael-flink:Flink学习资料：Flink相关演示，源码分析样例和相关文档

				
			

			

				

					03-23
				

			

		

		

			
				
《Flink学习之旅：深入解析与实践》  Apache Flink是一个强大的开源流处理框架，它在实时数据处理领域中占据着重要地位。本资源包"michael-flink"提供了丰富的Flink学习资料，包括Flink的相关演示、源码分析以及样例...

			
		

	





	

		

			

				
					
Flink示例源码-Flink入门

				
			

			

				

					12-16
				

			

		

		

			
				
"Flink示例源码-Flink入门"是一个旨在帮助初学者理解并掌握Flink核心概念和功能的资源包。在这个压缩包中，我们可能会找到一些精心设计的Flink示例代码，这些代码将有助于我们了解如何使用Flink进行数据处理。  首先...

			
		

	





	

		

			

				
					
flink-source-code-analysis:Apache Flink源码分析系列，基于git tag 1.1.2

				
			

			

				

					03-24
				

			

		

		

			
				
源代码分析Apache Flink源码分析系列，基于git tag 1.1.2 Apache Flink被视为第四代的大数据处理框架，它融合了流式计算和批处理【批处理被视为流式计算的特例】在流式计算方面，使用分布式快照【检查点】实现了高效...

			
		

	





	

		

			

				
					
大数据工程师 Flink技术与实战 源码笔记下载

				
			

			

				

					10-15
				

			

		

		

			
				
标题和描述中提到的“大数据工程师 Flink技术与实战 源码笔记下载”表明这是一份关于大数据处理框架Apache Flink的实战教程，可能包含了源代码解析、实战案例以及学习笔记等内容。对于Flink技术的学习者而言，这样的...

			
		

	





	

		

			

				
					
02 - Flink启动

				
			

			

				

					weixin_45800556的博客
				

				

					03-13
					
					7446
					
				

			

		

		

			
				
1. 背景
在[01 - Flink源码编译] 文章中介绍了Flink源码如何编译，这篇文章主要介绍源码编译后的启动验证。
2. 说明
（1）Flink编译后的可执行jar包在flink-dist目录下，具体如下：

查看目录内容：

a. bin目录：Flink的执行命令所在目录
c. conf目录：Flink配置文件所在的目录，主要有flink-conf.yaml（指定Flink配置）、masters（指定JobManager地址）、works（指定TaskManager地址）。
c. lib：Flin

			
		

	





	

		

			

				
					
【Flink源码】Flink程序启动的那些事儿

				
			

			

				

					wwb44444的博客
				

				

					11-06
					
					642
					
				

			

		

		

			
				
我想您一定曾经很好奇几个问题那就是 Flink 程序启动的时候究竟发生了什么？我们将用户程序提交上去之后它又是如何调用它的？本文就是为了解决您的这些疑惑在 Yarn 下 per-job 模式提交流程如下图。

			
		

	





	

		

			

				
					
Flink 1.13 源码解析——启动脚本解析

				
			

			

				

					EdwardWang_的博客
				

				

					08-26
					
					1556
					
				

			

		

		

			
				
Flink 1.13 源码解析 启动脚本分析

			
		

	





	

		

			

				
					
Flink 1.13 源码解析——TaskManager启动流程 之 初始化TaskExecutor

				
			

			

				

					EdwardWang_的博客
				

				

					08-29
					
					1682
					
				

			

		

		

			
				
Flink 1.13 源码解析 TaskManager启动流程 之 初始化TaskExecutor

			
		

	





	

		

			

				
					
Flink Job启动及执行流程分析

				
			

			

				

					淡定一生2333的博客
				

				

					06-27
					
					4165
					
				

			

		

		

			
				
之前写过一篇文章分析过Flink的基本架构，当时大概了解了JobManager、TaskManager、Slot等概念，本文主要是想了解下Flink中Job的执行流程，老是把Job执行当成一个黑盒总感觉难受。

  之前说过FlinkJob Client负责讲任务提交给JobManager执行，Client可以和JobManager通信获取作业的执行状态。JobManager负责接收Flink作业、资源管理(Slot)、task调度、Checkpoint发起等等，TaskManager负责真正...

			
		

	





	

		

			

				
					
Apache Flink源码分析---JobManager启动流程

				
			

			

				

					wjandy0211的博客
				

				

					09-29
					
					1715
					
				

			

		

		

			
				
Flink启动主要是启动JobManager进程和TaskManager进程，本章我们总结一下JobManager的启动流程：

JobManager启动流程：

启动类是org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint

配置JobManager启动：



JobManager入口：


public static void main(String[] args) {
		// startup checks an

			
		

	





	

		

			

				
					
Flink面试题梳理

					
热门推荐

				
			

			

				

					huzechen的博客
				

				

					10-30
					
					1万+
					
				

			

		

		

			
				
公众号：小晨说数据

微信：weixin605405145

基础
1.Flink计算单位是什么？
2.Flink时间类型有那些，他们有什么区别？
3.Flink窗口类型有哪些，你们目前用的什么窗口？
4.Flink的状态你们有没有用过，用的什么类型的状态？
5.Flink如何处理延迟数据？
6.Flink中managed state和raw state区别？
7.Flink的keystate有什...

			
		

	





	

		

			

				
					
深入解析Flink源码：构建数据流处理流程

				
			

			

				

					
				

			

		

		

			
				
6. **Window**：Flink提供窗口操作，如滑动窗口、会话窗口等，允许在时间维度上进行数据处理，例如计算一段时间内的平均值或最大值。  7. **Event Time & Watermark**：Flink支持事件时间和水印的概念，以处理乱序...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值