Flink系列（8）—— Flink 运维问题汇总

已于 2025-01-07 11:45:32 修改
阅读量941 收藏 1
点赞数
分类专栏： 大数据从入门到精通 文章标签： 大数据 数据仓库 flink
于 2023-08-09 15:13:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/132188964
版权

1.flink Slot request bulk is not fulfillable

原因 yarn资源不足了

2.flink-on-yarn模式下：Deployment took more than 60 seconds. Please check if the requested resources are


 



                

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    


                



	

		

			

				
					
【Flink】Slot request bulk is not fulfillable! Could not allocate the required slot

				
			

			

				

					九师兄
				

				

					09-24
					
					3256
					
				

			

		

		

			
				
今天遇到一个问题，对方的环境总是提示没有资源，然后一直在提交中，然后我看了一下他们的yarn资源如下发现只有72G，然后已经用了64G，但是我最后一个任务很小，只用2G。按理说不会这样。后面我打开详情查看。发现任务总体是运行中，但是实际上一直在调度中，在申请资源然后过了一会报错了，错误信息如下这里大概猜测是没有资源了。后面我们排查发现，我们最大并行度是8，但是我们的slot是4，这是不对的。但是这个不是我们手动配置的，是根据yarn节点、内存和kafka节点数来计算的，但是计算的不对。

			
		

	



                

            
              



	

		

			

				
					
【Flink】Flink 资源不足 导致 提交卡死 一直处于 创建中 Memory Reserved 预留的内存

				
			

			

				

					九师兄
				

				

					08-13
					
					2306
					
				

			

		

		

			
				
1.概述
一个环境因为资源不足，运行2个任务后，第二个任务一直处于创建中。

查看有个节点是 Memory Reserved 预留的内存，但是后来好像不是这个原因。
然后我们经过研究发现是flink任务申请的资源不足。但是申请资源不足不应该会一直报错 资源无法申请到吗，我们的是任务一直处于创建中，日志没有报错。。

...

			
		

	



              


  
              

                


	

		

			

				
					
阿里超大规模 Flink 集群运维实践

				
			

			

				

					科技很有意思
				

				

					06-07
					
					669
					
				

			

		

		

			
				
大数据运维在阿里云实时计算集群的落地实践: 以数智为内核驱动的实时计算运维体系，解决稳定性、成本、效率三大运维领域需求。

			
		

	





	

		

			

				
					
java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper

					
热门推荐

				
			

			

				

					qq_36770153的博客
				

				

					12-11
					
					1万+
					
				

			

		

		

			
				
由于是新手，解决问题的能力有限，所以遇到这个问题的时候困扰了好久，最后通过查资料得知：是jar包不全

解决方案：

产生的原因是由于引入的jar包不全，我的解决办法是将hadoop common下的lib文件夹中的所有jar包全部添加至project项目中

 ...

			
		

	



		

			
		



	

		

			

				
					
flink on yarn 问题记录1

				
			

			

				

					m0_58149226的博客
				

				

					08-21
					
					4158
					
				

			

		

		

			
				
flink on yarn 报错处理

			
		

	





	

		

			

				
					
flink Could not allocate the required slot within slot request timeout

				
			

			

				

					a123147abc的博客
				

				

					12-03
					
					5943
					
				

			

		

		

			
				
flink  Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout

解决：
减少并发度




			
		

	





	

		

			

				
					
Doris实战——结合Flink构建极速易用的实时数仓_flink doris

				
			

			

				

					2301_82243558的博客
				

				

					04-27
					
					1065
					
				

			

		

		

			
				
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。

			
		

	





	

		

			

				
					
最全Doris实战——结合Flink构建极速易用的实时数仓_flink doris

				
			

			

				

					2301_82241942的博客
				

				

					05-04
					
					1397
					
				

			

		

		

			
				
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。

			
		

	





	

		

			

				
					
最新Doris实战——结合Flink构建极速易用的实时数仓_flink doris(3)

				
			

			

				

					2401_84182020的博客
				

				

					05-04
					
					931
					
				

			

		

		

			
				
从技术架构的角度对传统数据技术栈进行分析，会发现为了迎合不同场景的需求，往往会采用多种技术栈，例如对于 OLAP 场景的多维分析，一般使⽤ Doris 或 Kylin、 Druid。除此之外，为应对半结构化数据的分析需求，例如日志分析与检索场景，通常会使⽤ ES 进行分析；面对高并发点查询的 Data Serving 场景会使⽤ HBase等。其中涉及到的数据组件有数十种，高昂的使用成本和组件间兼容、维护及扩展带来的繁重压力成为企业必须要面临的问题。

			
		

	





	

		

			

				
					
[Flink]一、Flink1.13

					
最新发布

				
			

			

				

					weixin_44428807的博客
				

				

					07-01
					
					1238
					
				

			

		

		

			
				
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。

			
		

	





	

		

			

				
					
Flink + Hudi demo 环境

				
			

			

				

					ChengYanan的博客
				

				

					09-26
					
					1512
					
				

			

		

		

			
				
版本
flink 版本： Flink 1.12.5
Scala版本：2.12
Hudi版本：0.9.0
将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。



			
		

	





	

		

			

				
					
Flink任务报：Could not allocate the required slot within slot request timeout.

				
			

			

				

					你的代码有灵魂吗？
				

				

					07-14
					
					1万+
					
				

			

		

		

			
				
问题描述

问题描述：Flink job提交到集群上跑，提交成功了，但是每次都是等很久之后就失败了，一直报：Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources.

此外，跑了Spark任务和Flink官方的批处理的WordCount例子都是可以跑成功的；







具体错误


[root@BigData04 f..

			
		

	





	

		

			

				
					
【大数据-调度工具】dolphinscheduler安装和遇到的问题

				
			

			

				

					Dekazhuo的博客
				

				

					05-11
					
					2016
					
				

			

		

		

			
				
找到请求url，baseURL中有个参数是timeout 为 15e3(15000ms即15s),找到对应ds安装目录下的ui/asserts/ 对应js脚本文件，时间改大一点。在资源中心中上传文件选择完大文件夹之后，选择确认之后确认按钮转了几圈圈之后就没反应了，对应服务器上使用ds登录的用户资源目录也没有对应的文件。但是切换完ds租户提交任务之后，也可以成功提交，但是任务一直处于created 的状态，并且在一段时间之后会失败并报错。已经删除了的工作流中的任务定义依然存在，也不能通过前端删除。

			
		

	





	

		

			

				
					
【Flink】Could not allocate the required slot within slot request timeout.

				
			

			

				

					qq_32495629的博客
				

				

					12-09
					
					6367
					
				

			

		

		

			
				
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.client.program.ProgramInvocationException: Job failed 
......
......
Caused by: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailable.

			
		

	





	

		

			

				
					
【kafka】kafka 在 zookeeper中的元数据不对 broker漂移与缺失

				
			

			

				

					九师兄
				

				

					09-17
					
					363
					
				

			

		

		

			
				
kafka 在 zookeeper中的元数据不对 broker漂移与缺失，主要是说kafka中的节点元数据与zk中的元数据信息不对应，导致kafka出问题。

			
		

	





	

		

			

				
					
Flink：job报错NoResourceAvailableException: Could not acquire the minimum required resources

				
			

			

				

					程序人生
				

				

					08-03
					
					2636
					
				

			

		

		

			
				
java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire the minimum required resources.

			
		

	





	

		

			

				
					
flink集群搭建、错误总结

				
			

			

				

					qq_38558851的博客
				

				

					10-27
					
					6618
					
				

			

		

		

			
				
flink集群搭建、错误总结
一、集群搭建
flink Standalone模式集群部署，使用flink1.11版本 flink-1.11.1-bin-scala_2.12 .tgz ，安装环境为七个节点，一个jobmanager七个taskmanager。
1、基础环境准备
1.1、jdk1.8或者更高
默认已安装
1.2、主机名和hosts文件集群内完全对应。如下添加：
IP1 hostname1
IP2 hostname2
IP3 hostname3
IP4 hostname4
IP5 hostnam

			
		

	





	

		

			

				
					
聊聊flink的slot.request.timeout配置

				
			

			

				

					weixin_34054931的博客
				

				

					03-04
					
					1798
					
				

			

		

		

			
				
为什么80%的码农都做不了架构师？>>> 
                                        
                ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
shangjg3

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值