95-136-041-源码-Operator-AbstractStreamOperator

最新推荐文章于 2024-01-31 14:00:27 发布
最新推荐文章于 2024-01-31 14:00:27 发布
阅读量519 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105846984
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文深入探讨Flink的AbstractStreamOperator，它是所有Flink算子的基础。内容涵盖算子的生命周期，如setup、open、close和dispose方法，以及状态与容错相关的方法，如snapshotState、initializeState、getPartitionedState和notifyCheckpointComplete。文章详细解析了状态的保存、恢复和定时触发服务，展示了Flink如何确保作业的可靠性和容错能力。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2.前文回顾

​ AbstractStreamOperator

该抽象类为实现一个具体的operator提供基本的支持，Flink内置提供的operator全部都直接或间接继承自AbstractStreamOperator。

它内部包含了三大类的属性：

配置属性
运行时属性
键值对状态属性

大都数方法都是辅助方法，值得一提的是setup方法。从这里我们可以看到所有operator标识符的生成方式：

String operatorIdentifier = getClass().getSimpleName() + "_" + config.getVertexID() + "_" + runtimeContext.getIndexOfThisSubtask();

可以看到标识是由”_”间隔的三段拼接而成。三段分别是：类名，vertex id，以及当前subtask的索引。

然后基于此标识，创建了用于存储状态的stateBackend：


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  九师兄
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
95-136-042-源码-Operator-AbstractUdfStreamOperator

				
			

			

				

					九师兄
				

				

					07-03
					
					496
					
				

			

		

		

			
				
1.视界

2.前文回顾
AbstractUdfStreamOperator 是继承AbstractStreamOperator的抽象实现类，其内部包含了userFunction, 在Task的生命周期都会调用userFunction中对应的方法；
​	AbstractUdfStreamOperator继承了AbstractStreamOperator，对其部分方法做了增强，多了一个成员变量Use...

			
		

	



                

              
                



	

		

			

				
					
【Flink】Flink自带的测试类 AbstractStreamOperatorTestHarness

				
			

			

				

					九师兄
				

				

					06-27
					
					901
					
				

			

		

		

			
				
1. 背景
我拷贝了一段代码，这个是gradle项目中的，我现在拷贝到maven项目中。发现有个测试类没有。

然后到gradle项目中找这个发现在flink-streaming-java_2.11-1.10.0-tests.jar

这个里面，然后我去发现我的maven已经引入了。

但是没有这个类，最后试来试去，都没找到为啥。后来查看了官网添加链接描述
官网引入如下
dependency>
  <groupId>org.apache.flink</groupId>
  &.

			
		

	



                


  
              

                


	

		

			

				
					
AbstractStreamOperator

				
			

			

				

					qq_36329933的博客
				

				

					11-10
					
					205
					
				

			

		

		

			
				
私有变量

InternalTimeServiceManager<?> timeServiceManager



initializeState方法


	@Override
	public final void initializeState(StreamTaskStateInitializer streamTaskStateManager) throws Exception {

		final TypeSerializer<?> keySerializer = confi..

			
		

	





	

		

			

				
					
FLink之StreamOperator

					
最新发布

				
			

			

				

					m0_43437171的博客
				

				

					01-31
					
					1413
					
				

			

		

		

			
				
AbstractStreamOperator作为StreamOperator的基本实现类，所有的Operator都会继承和实现该抽象方法用于存储KeyedState的状态管理后端，默认为HashMapStateBackend。如果配置RocksDB作为状态存储后端，则此处为RocksDBKeyedStateBackend。

			
		

	



		

			
		



	

		

			

				
					
95-136-040-源码-Operator-Operator简介

				
			

			

				

					九师兄
				

				

					07-03
					
					425
					
				

			

		

		

			
				
1.视界

2.前文回顾
​		Transformation是所有transformation的抽象类，提供了实现transformation的基础功能。每一个DataStream都有一个与之对应的Transformation。
​	你可以将transformation看成编写Flink程序并构建流式处理程序的必要组成部分（静态表现形式）；而本篇我们将探讨transformation在Flink运...

			
		

	





	

		

			

				
					
95-136-041-源码-Operator-OneInputStreamOperator

				
			

			

				

					九师兄
				

				

					07-03
					
					478
					
				

			

		

		

			
				
1.视界

2.前文回顾
OneInputStreamOperator单一输入流的operator接口，继承自StreamOperator。提供了两个接口方法：

processElement：处理到达该operator的一个元素
processWatermark：处理一个Watermark

3.拓扑图

4.源码
@PublicEvolving
public interface OneInpu...

			
		

	





	

		

			

				
					
95-230-022-源码-WordCount走读-OperatorChain

				
			

			

				

					九师兄
				

				

					07-03
					
					437
					
				

			

		

		

			
				
1.视界

2.  概述
2.1 OperatorChain 的重要属性
// 所有的操作符，最后每一个 StreamNode 都会包含一个 StreamOperator
// 因为不含 StreamOperator 的 transformation 都变成 StreamEdge 的属性了
private final StreamOperator<?>[] allOperators;
...

			
		

	





	

		

			

				
					
StreamOperator源码简析

				
			

			

				

					微信搜：import_bigdata，大数据领域硬核原创作者
				

				

					08-28
					
					265
					
				

			

		

		

			
				
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。

《2021年最新版大数据面试题全面开启更新》





StreamOperator是任务执行过程中实际处理类，上层由StreamTask调用，下层调用UserFunction,列举一些常见的StreamOperator

env.addSource对应StreamSource
	dataStream.map 对应StreamMap
	dataStre

			
		

	





	

		

			

				
					
计算机网络技术课件计算机网络的最简单定义

				
			

			

				

					05-11
				

			

		

		

			
				
　关于计算机网络的最简单定义是：一些相互连接的、以共享资源为目的的、自治的计算机的集合[TANE96]。
　　最简单的计算机网络就是只有两台计算机和连接它们的一条链路，即两个节点和一条链路。因为没有第三台计算机，因此不存在交换的问题。
　　最庞大的计算机网络就是因特网。它由非常多的计算机网络通过许多路由器互联而成。因此因特网也称为“网络的网络”。

			
		

	





	

		

			

				
					
JAVA版扫雷的实现，适合初学者参考。

				
			

			

				

					05-25
				

			

		

		

			
				
一个用java写的扫雷程序，采用GUI实现界面，代码700行，注释全面，适合初学者学习。 一个用java写的扫雷程序，采用GUI实现界面，代码700行，注释全面，适合初学者学习。

			
		

	





	

		

			

				
					
汇编模拟题（附答案）

				
			

			

				

					10-16
				

			

		

		

			
				
汇编期末考试模拟题 附答案
一、	项选择题(在每小题的四个备选答案中，选出一个正确答案，并将正确答案的序号填在题干的括号内。每小题1分，共10分)
1.	CPU发出的访问存储器的地址是(   )
A.	物理地址   B.偏移地址    C.逻辑地址   D.段地址
2.	将高级语言的程序翻译成机器码程序的实用程序是(   )
A.编译程序   B.汇编程序  C.解释程序    D.目标程序
……
1.	在8086/8088汇编语言中，有五条串操作指令，其中搜索字符串指令的助记符是______。
2.	通常所说的计算机系统包括________和________两大部分。
……
单项选择题(每小题1分，共10分)
1.A 2.A 3.C 4.B 5.C
6.B 7.B 8.A 9.C 10.A
二、填空题(每空1分，共20分)
1.SCAS
……

			
		

	





	

		

			

				
					
红玫瑰48 swf flash素材

				
			

			

				

					02-17
				

			

		

		

			
				
红白玫瑰48 swf flash素材

			
		

	





	

		

			

				
					
Radio Protocols for LTE and LTE-Advanced

				
			

			

				

					05-13
				

			

		

		

			
				
# 2012 John Wiley & Sons Singapore Pte. Ltd.
With this in mind, LTE is the central focus of the mobile industry, as LTE is the most promising technology on the market. For mobile operators running GSM/UMTS systems,LTE is a natural choice for their future networks. Even operators deploying 2G/3G CDMA systems are choosing the LTE system as their future network, because LTE is the only viable
option for their survival. In this sense, LTE is a truly global mobile communication system that will cover almost all of the world. Currently, more than two hundred mobile operators are planning or are already deploying an LTE system.

			
		

	





	

		

			

				
					
Apache Flink源码解析-StreamOperator接口实现

				
			

			

				

					HZJ524717的专栏
				

				

					01-25
					
					1509
					
				

			

		

		

			
				
1、StreamOperator接口实现

如图所示，StreamOperator的定义如下



图1-StreamOperator接口

StreamOperator接口主要包括如下核心方法

open()：定义当前Operator的初始化方法，在数据元素正式接入Operator运算之前，Task会调用StreamOperator.open()方法对该算子进行初始化，具体open()方法的定义由子类实现，常见的用法如调用RichFunction中的open()方法创建相应的状态变量。
	close().

			
		

	





	

		

			

				
					
Flink 源码解析（六）从数据输入到数据处理 OneInputStreamOperator & AbstractUdfStreamOperator

				
			

			

				

					xingdianp的博客
				

				

					11-27
					
					452
					
				

			

		

		

			
				
从数据输入到数据处理——OneInputStreamOperator & AbstractUdfStreamOperator
StreamSource是用来开启整个流的算子，而承接输入数据并进行处理的算子就是OneInputStreamOperator、TwoInputStreamOperator等。

整个StreamOperator的继承关系如上图所示（图很大，建议点开放大看）。
OneInputStreamOperator这个接口的逻辑很简单：
public interface OneInpu

			
		

	





	

		

			

				
					
Flink 1.12.2 源码浅析 : AbstractUdfStreamOperator

				
			

			

				

					张伯毅的专栏
				

				

					04-15
					
					614
					
				

			

		

		

			
				
.一 .前言二 .xxxxxx2.1. xxx2.2. xxx2.3. xxx2.4. xxx2.5. xxx2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. xxx4.2. xxx4.3. xxx4.4. xxx4.5. xxx4.6. xxx五 .xxxxxx六 .xxxxxx七 .xxxxxx
一 .前言
二 .xxxxxx
2.1. xxx
2.2. xxx
2.3. xxx
2.4. xxx

			
		

	





	

		

			

				
					
聊聊flink StreamOperator的initializeState方法

				
			

			

				

					weixin_34061042的博客
				

				

					12-08
					
					349
					
				

			

		

		

			
				
序
本文主要研究一下flink StreamOperator的initializeState方法
Task.run
flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/taskmanager/Task.java
public class Task implements Runnable, TaskActions, Check...

			
		

	





	

		

			

				
					
一键安装kube-prometheus到k8s集群

				
			

			

				

					
				

			

		

		

			
				
**PrometheusOperator** 是 Kubernetes 的一个 Operator，它允许在集群中动态管理 Prometheus 实例和服务发现规则。通过 Operator，你可以更方便地创建、更新和删除 Prometheus 配置。  **Prometheus** 是一个流行的...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值