Flink1.10-一些使用的记录

最新推荐文章于 2022-04-22 16:10:28 发布
最新推荐文章于 2022-04-22 16:10:28 发布
阅读量340 收藏 1
点赞数
分类专栏： 大数据 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/toriycn/article/details/107093909
版权
本文介绍了在Flink 1.10使用中遇到的问题，特别是针对TaskManager、Slot和JobManager的认知。通过分析YARN上的Container资源配置，讨论了如何优化Flink作业的内存和CPU使用，提出了关键参数如yarn.taskmanager.memory.process.size和yarn.jobmanager.memory.process.size的调整方法，以降低资源消耗。
摘要由CSDN通过智能技术生成

Flink1.10使用过程中的一些认知

关于TaskManager/Slot/JobMangaer的认知

在这里插入图片描述
上节说过，Flink的3种部署模式。我们选择了Flink on YARN。但是经常听小伙伴抱怨说job不稳定，崩溃，有时候提交任务失败等等；
所以，今天专门针对于基本概念重新认识一下Flink；

脚本

我们的脚本类似于下面这种。没有任何附加参数：

nohup bin/flink run -m yarn-cluster   -s hdfs:///flink/savepoints/savepoint-* -c *.* jars/**** test > Flink-RealtimeDAU.log 2>&1 &

运行到yarn中之后的效果：

在这里插入图片描述
下面这3个，使用了2个Containers，Allocated Memory是4G的就是了。
但是，我们的Job很简单，而且也不存在大量的内存计算一说，所以，这个很显然比较浪费。

于是先从Yarn入手，这个Container是干啥的？可以有多少个？


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  创意顽石
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Flink_Flink 1.10 细粒度资源管理解析

				
			

			

				

					迎难而上
				

				

					05-23
					
					966
					
				

			

		

		

			
				
原文地址https://blog.csdn.net/weixin_44904816/article/details/106066579





 相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1]，再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Fli...

			
		

	



                

              
                



	

		

			

				
					
CDH6 配置Flink1.10(编译安装)

				
			

			

				

					我思，顾我在
				

				

					06-19
					
					3278
					
				

			

		

		

			
				
以下包含了CDH6整合Flink1.10编译安装的全过程以及趟过的坑，供大家参考、避坑。

一、环境

  CDH 6.2.1(Hadoop 3.0.0)、Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8

二、安装包

  1、flink1.10.1 tar包

     https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.1...

			
		

	



                


  
              

                


	

		

			

				
					
Flink 1.10重磅发布！一大堆特性震撼来袭！

				
			

			

				

					华章IT官方博客
				

				

					02-15
					
					326
					
				

			

		

		

			
				
Flink 1.10刚刚发布，这个版本周期内号主将主要方向转向数据湖社区（Apache Hudi），在重要特性中包含一个特性由号主贡献：[FLINK13025]Thereisan...

			
		

	





	

		

			

				
					
Flink Batch SQL 1.10 实践

				
			

			

				

					Ververica的博客
				

				

					12-12
					
					1013
					
				

			

		

		

			
				
Flink 作为流批统一的计算框架，在 1.10 中完成了大量 batch 相关的增强与改进。1.10 可以说是第一个成熟的生产可用的 Flink Batch SQL 版本，它一扫之前 ...

			
		

	



		

			
		



	

		

			

				
					
Flink1.10新特性解读-内存管理

				
			

			

				

					ludongguoa的博客
				

				

					11-01
					
					390
					
				

			

		

		

			
				
新的Task Executor内存模型

FLIP49为Task Executor引入了一种新的内存模型。引入了新的配置选项来控制Task Executor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。job manager的内存模型尚未更改，但也计划进行更新。

如果尝试在不做任何调整的情况下重用以前的Flink配置，新的内存模型可能会导致JVM的计算内存参数不同，从而导致性能变化。

FLIP-49 Task Executor统一内存配置

该方..

			
		

	





	

		

			

				
					
flink-1.14.0-bin-scala_2.11.tgz

				
			

			

				

					07-18
				

			

		

		

			
				
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...

			
		

	





	

		

			

				
					
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz

					
最新发布

				
			

			

				

					05-21
				

			

		

		

			
				
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...

			
		

	





	

		

			

				
					
flink-shaded-hadoop-3下载

				
			

			

				

					05-19
				

			

		

		

			
				
flink-shaded-hadoop-3下载

			
		

	





	

		

			

				
					
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti

				
			

			

				

					07-01
				

			

		

		

			
				
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz

			
		

	





	

		

			

				
					
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip

				
			

			

				

					02-29
				

			

		

		

			
				
 - **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。  - **环境变量设置**：配置`FLINK_HOME`环境变量指向解压后的目录，并将`bin`目录添加到PATH环境变量中。  - **启动与停止**：...

			
		

	





	

		

			

				
					
flink-1.10 内存模型详解

				
			

			

				

					yuchuanchen的专栏
				

				

					02-20
					
					4196
					
				

			

		

		

			
				
文章目录1.概览2.框架内存(Framework Memory)3.根据比例限制的组件(Capped Fractionated Components)4.对应的 JVM 参数(JVM Parameters)5.本地执行时的内存策略(Local Execution)
之前的一篇 文章(flink-1.10 如何配置 Task Executor 内存)介绍了新的内存模型下配置 task executo...

			
		

	





	

		

			

				
					
flink-1.10 如何配置 Task Executor 内存

				
			

			

				

					yuchuanchen的专栏
				

				

					02-19
					
					4876
					
				

			

		

		

			
				
文章目录配置总内存配置 Task Heap 和 Managed MemoryTask (Operator) Heap MemoryManaged Memory配置 Off-Heap Memory (direct or native)
flink 分别提供了通用和细粒度的内存配置，来满足不同用户的需求。
配置总内存
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VOC...

			
		

	





	

		

			

				
					
Flink1.10从0到1：（四）Flink On Yarn 和命令详解

				
			

			

				

					joshua
				

				

					07-07
					
					721
					
				

			

		

		

			
				
一、简介

 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需要是 2.2 及以上。

PS：本人运行环境是基于clo...

			
		

	





	

		

			

				
					
FLINK ON YARN内存计算

				
			

			

				

					sxau_zhangtao的博客
				

				

					04-22
					
					2541
					
				

			

		

		

			
				
FLINK ON YARN内存计算
在使用命令提交任务到yarn时：
flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G

ys 表示为一个taskManager的slot大小
p 表示任务的并行度
yjm 表示为jobManager的内存大小
ytm 表示为一个taskManager的内存大小
计算公式：
jobManager个数 = 1 固定
taskManager个数 =  p / ys  + 1    向下取整
yarn的vcore个数=slot

			
		

	





	

		

			

				
					
Flink任务请求一次后失败，task无限重启

				
			

			

				

					Baron_ND的博客
				

				

					08-04
					
					2290
					
				

			

		

		

			
				
在flink上提交任务的时候，获取Oracle的数据计算后可以正常回调，但是获取hbase的数据后，只能回调一次后，task就卡住了，最后通过修改元空间 增加启动yjm和ytm搞定

jobmanage日志如下：



7:45:11.443 TKD [main-EventThread] ERROR o.a.f.s.c.o.a.c.ConnectionState - Authentication failed
17:45:20.998 TKD [flink-rest-server-netty-worker.

			
		

	





	

		

			

				
					
大数据组件-Flink-1.10.2源码编译常用命令（持续更新完善）

				
			

			

				

					Eistert
				

				

					12-20
					
					667
					
				

			

		

		

			
				
依赖
<profile>
     <id>vendor-repos</id>
     <activation>
         <property>
             <name>vendor-repos</name>
         </property>
     </activation>
  
     <!-- Add vendor maven repositories

			
		

	





	

		

			

				
					
Flink run 方式提交（生产环境在yarn集群上直接提交的方式）

				
			

			

				

					xuehuagongzi000的博客
				

				

					12-04
					
					4627
					
				

			

		

		

			
				
1、案例


#!/bin/bash
########################
. /etc/profile
. ~/.bash_profile
########################


SCRIPT_NAME=$(readlink -f "$0")
hostname=`hostname`
dir=`dirname ${SCRIPT_NAME}`
cd $dir

nohup ...

			
		

	





	

		

			

				
					
Flink SavePoint的使用

					
热门推荐

				
			

			

				

					lvwenyuan_1的博客
				

				

					07-02
					
					1万+
					
				

			

		

		

			
				
checkPoint and savePoint

说到savePoint，一定会想到checkPoint，先来说下两者的区别：

checkpoint：应用定时触发，用户保存状态，会过期，内部应用失败重启的时候使用，默认情况下cancel时，会删除之前的checkpoint。

savepoint：用户手动执行，不会过期，相当于备份，可以在cancel的时候使用。一般可以用于修改并行度，程序升级...

			
		

	





	

		

			

				
					
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级！

				
			

			

				

					麒思妙想
				

				

					02-12
					
					956
					
				

			

		

		

			
				
翻译｜宋辛童校对｜李钰Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flin...

			
		

	





	

		

			

				
					
Apache Flink 1.10版实战：性能提升与重大特性概览

				
			

			

				

					
				

			

		

		

			
				
6. **Python支持**：PyFlink 1.10版本得到了重大优化，开发者可以更方便地使用Python编写和扩展Flink应用，增强了生态系统多样性。  7. **社区贡献**：该版本凝聚了来自218名贡献者的努力，解决了1270个JIRA问题，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值