Flink on Yarn  部署问题汇总

最新推荐文章于 2023-08-17 20:25:58 发布
最新推荐文章于 2023-08-17 20:25:58 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： Flink 文章标签： flink hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzyice/article/details/106966880
版权
本文汇总了Flink在Yarn上部署时可能遇到的问题及解决方案，包括JDK版本不兼容、任务运行状态异常、启动失败和HDFS安全模式等。建议使用JDK1.8.0_191以上版本，并调整YARN和Flink配置以优化内存设置。
摘要由CSDN通过智能技术生成

Flink on Yarn  部署问题汇总

1. Yarn 上报错： Unsupported major.minor version 52.0 ， jdk版本不支持

解决办法：把jdk从1.7升级到1.8。jdk1.8.0_11版本在运行Flink时，会出现莫名其妙的问题，墙裂建议更换成jdk1.8.0_191，jdk传送门:https://pan.baidu.com/s/1M4Xo9GwDgTAmnDJfcmMsJg  提取码：vrqa

 

2. 部署后，在yarn 上面一直显示RUNING 状态，终端报错：AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#1998075247]] after [10000 ms]

解决办法：

  首先确认jdk版本为jdk1.8.0_191，或更高版本，

  1）修改yarn-site.xml配置文件，把 '是否进行物理内存限制比较' 属性关闭


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  hzyice
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Flink : exitCode=1 the main method caused an error: could not deploy yarn job cluster

				
			

			

				

					九师兄
				

				

					07-03
					
					3781
					
				

			

		

		

			
				
1.美图

2.背景
执行一个flink on yarn命令

su -hdfs -c "export HADOOP_CONF_DIR=xxx && export HADOOP_CLASSPATH=`hadoop classpath ` && /soft/flink/bin/flink run -m yarn-cluster -ynm xxx -yn 3 -yjm ...

			
		

	



                

            
              



	

		

			

				
					
flink介绍及安装部署

					
最新发布

				
			

			

				

					02-07
				

			

		

		

			
				
3. **Flink on YARN**：将资源管理交由 Hadoop YARN 实现，适用于大规模生产环境。  #### 五、Flink安装步骤 ##### 1、环境准备 - **Java环境**：确保安装 JDK 1.8 版本。 - **Flink安装包版本**：推荐使用 `flink-...

			
		

	



              


  
              

                


	

		

			

				
					
Flink提交任务到yarn上启动踩坑（一）

				
			

			

				

					wangyu1025391259的博客
				

				

					01-25
					
					5724
					
				

			

		

		

			
				
在启动任务的时候报错如下：



错误原因：

必须-c在JAR文件之前指定参数，否则收到错误消息

更改后的提交代码如下：


./bin/flink run -m yarn-cluster -yqu info -yn 3 -c com.flink.dataset.WordCountTest /home/msns/wangyu/flink/flink_test_3.jar

更改后正常运行如下：...

			
		

	





	

		

			

				
					
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）

				
			

			

				

					hiliang521的博客
				

				

					08-26
					
					1088
					
				

			

		

		

			
				
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。

			
		

	



		

			
		



	

		

			

				
					
flink yarn模式提交任务出错

				
			

			

				

					weixin_50656879的博客
				

				

					03-27
					
					975
					
				

			

		

		

			
				
flink yarn方式提交出现错误的分析

			
		

	





	

		

			

				
					
运行flink on yarn遇到的一些问题

				
			

			

				

					zhoucs86的博客
				

				

					04-08
					
					2252
					
				

			

		

		

			
				
1，根据hadoop的版本在flink的页面上下载对应于hadoop版本和scala版本的flink的包

2，使用start-yarn.sh在集群上运行yarn，启动后可以在8088上面找到yarn的web界面

需要注意的是，需要将resourcemanager的地址指向master的地址

<property>

  <name>yarn.nodemanager....

			
		

	





	

		

			

				
					
藏经阁-Deploy Apache Flink Natively on YARN_Kubernetes.pdf

				
			

			

				

					09-09
				

			

		

		

			
				
本文总结了 Apache Flink 在 YARN 和 Kubernetes 中的本地部署方法，介绍了 Flink 生态系统在阿里云中的应用，并讨论了资源配置和扩展资源映射的重要性。阿里云基于 Flink 的大数据处理平台提供了完整的解决方案，...

			
		

	





	

		

			

				
					
Flink on Kubernetes 生产实践.pdf

				
			

			

				

					03-21
				

			

		

		

			
				
然而，传统的Flink部署方式如在YARN上运行，可能会面临资源调度效率不高、管理复杂等问题。因此，将Flink迁移到Kubernetes平台可以利用K8s的灵活性和自动化优势，实现更高效和可扩展的部署。  "为何选择Flink on ...

			
		

	





	

		

			

				
					
flink-1.13.1  cdh6.3.2

				
			

			

				

					07-24
				

			

		

		

			
				
总结，Flink 1.13.1在CDH 6.3.2上的部署是一个集成了Parcel分发、YARN资源管理和Flink配置的过程。正确配置和使用这些文件可以确保Flink作业在CDH集群上高效、稳定地运行，为大数据实时处理提供强大支持。在实际操作...

			
		

	





	

		

			

				
					
CDH6.3.2编译Flink-1.12.4

				
			

			

				

					04-12
				

			

		

		

			
				
5. **生成JAR包**：编译完成后，你会在`flink-dist/target`目录下找到如`FLINK_ON_YARN-1.12.4.jar`这样的JAR包，这是Flink在YARN上运行所需的配置。  6. **集成到CDH**：将编译好的Flink发布到CDH集群，可能需要将...

			
		

	





	

		

			

				
					
flink1.10 在yarn上运行job报内存超出

				
			

			

				

					ASN_forever的博客
				

				

					05-27
					
					5422
					
				

			

		

		

			
				
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar


org.apache.flink.client.program.Prog.

			
		

	





	

		

			

				
					
Flink-生产环境问题集锦

				
			

			

				

					weixin_45943866的博客
				

				

					03-21
					
					5062
					
				

			

		

		

			
				
项目场景：
平台初始搭建，在项目开发过程中遇到的问题.

问题描述及解决方案
1.在程序中将状态后端保存到HDFS，运行程序时报错失败

Caused by: java.lang.RuntimeException: Error while waiting for job to be initialized
…
Caused by: org.apache.flink.runtime.rest.util.RestClientException: [org.apache.flink.runtime.rest.No

			
		

	





	

		

			

				
					
Flink yarn 任务job失败 yran application_xxx_id 还处于running状态

				
			

			

				

					wu的博客
				

				

					11-10
					
					1062
					
				

			

		

		

			
				
Flink yarn 任务job失败 yran application_xxx_id 还处于running状态

			
		

	





	

		

			

				
					
flink本地执行报AskTimeoutException异常

				
			

			

				

					weixin_44024821的博客
				

				

					11-06
					
					2548
					
				

			

		

		

			
				
windows本地flink测试代码报错，信息为 akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#931521
解决方案：将项目中jdk版本升级为jdk1.8.0_191。
具体步骤：

查看当前实际执行的jdk版本

查看当前idea实际执行的的jdk
2. 修改idea的sdk版本
file -> setting -> Project Settings -> p

			
		

	





	

		

			

				
					
FlinkYARN 模式部署运行作业

				
			

			

				

					Appreciate(欣赏)
				

				

					04-16
					
					587
					
				

			

		

		

			
				
⚫ -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数， 即使关掉当前对话窗口，YARN session 也可以后台运行。支持，需要自行在官网下载 Hadoop 相关版本的组件 flink-shaded-hadoop-2-uber-2.7.5-10.0.jar，1、按照 3.1 节所述，下载并解压安装包，并将解压后的安装包重命名为 flink-1.13.0-yarn，4、执行Flink命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。

			
		

	





	

		

			

				
					
flink本地启动报Ask timed out

				
			

			

				

					theweather的博客
				

				

					01-11
					
					1011
					
				

			

		

		

			
				
flink  Ask timed out

			
		

	





	

		

			

				
					
Flink集群运行job失败

				
			

			

				

					qq_41999004的博客
				

				

					06-13
					
					844
					
				

			

		

		

			
				
背景
本地job可以正常运行,打包上传到集群后输入内容抛出异常
原因:代码依赖中flink 基于scala2.12版本,但是集群上的flink基于scala的2.10版本



			
		

	





	

		

			

				
					
Flink任务执行错误：无法部署YARN集群大数据任务

				
			

			

				

					TechWhiz的博客
				

				

					08-17
					
					795
					
				

			

		

		

			
				
总结一下，当我们尝试将Flink任务部署到YARN集群时，有时会遇到"exitCode= the main method caused an error: could not deploy yarn job cluster"的错误。通过确保YARN集群正常运行、检查Flink和YARN的版本兼容性、正确配置Flink和YARN的相关配置文件，以及重新启动相关服务，我们可以解决这个问题。确保YARN集群正常运行：在提交Flink任务之前，确保YARN集群已经正确安装和配置，并且所有的节点都处于正常运行状态。

			
		

	





	

		

			

				
					
【Flink】Flink CDH6.3.2 下的yarn per job模式 savepoint和checkpoint，卡住，没有保存成功文件

				
			

			

				

					九师兄
				

				

					12-08
					
					678
					
				

			

		

		

			
				
1.场景1
1.1 概述
我们遇见CDH6.3.2 下的yarn per job模式 savepoint和checkpoint，卡住，没有保存成功文件

非常简单的一个job，消费几条kafka，不存在太大的问题，单机flink可以，yarn下不行

文件也创建出来了，0字节，然后我在flink 1.13 源码中加入如下 日志

然后运行如下

还有ERROR字样的就是这句

现在知道OperatorCoordinatorCheckpoints.triggerAndAcknowledgeAllCoordin

			
		

	





	

		

			

				
					
flink on yarn如何部署，支持高可用吗

				
			

			

				

					05-19
				

			

		

		

			
				
Flink on Yarn 是 Apache Flink 的一种部署方式，可以在 Hadoop Yarn 上运行 Flink 应用程序。部署 Flink on Yarn 的主要步骤如下：

1. 安装 Hadoop 和 Yarn：在部署 Flink on Yarn 之前，需要先安装 Hadoop 和 Yarn。

2. 下载 Flink：从 Flink 官网下载 Flink 二进制文件。

3. 配置 Flink：编辑 Flink 的配置文件 flink-conf.yaml，配置 Flink 的相关参数，如 TaskManager 的数量、内存大小等。

4. 启动 Yarn：在启动 Flink on Yarn 之前，需要先启动 Yarn。

5. 提交 Flink 应用程序：使用 Flink 提供的命令行工具 flink run，提交 Flink 应用程序到 Yarn 上运行。

6. 监控 Flink 应用程序：可以使用 Flink 提供的 WebUI 或者 Yarn 提供的 WebUI 监控 Flink 应用程序的运行状态。

关于高可用性，Flink on Yarn 支持 Flink 的高可用性机制，可以通过配置 Flink 的 HA 参数来实现。在 Flink on Yarn 中，Flink 的 JobManager 运行在 Yarn 的一个容器中，当容器失败时，Yarn 会自动重新启动 JobManager。同时，Flink 也支持将 JobManager 的状态保存到 ZooKeeper 中，以便在 JobManager 失败时能够恢复其状态。因此，Flink on Yarn 支持高可用性。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值