【Flink】Flink的 processingTimeTimersQueue 是如何注册数据的

最新推荐文章于 2023-04-14 14:34:49 发布
最新推荐文章于 2023-04-14 14:34:49 发布
阅读量659 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106653612
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了Flink的processingTimeTimersQueue，它是一个优先级队列，用于处理基于处理时间的定时器。当添加新的定时器时，如果其时间戳小于队列顶部元素，会通过processingTimeService进行调度。文章通过分析源码揭示了其内部工作机制，并提出了一个未解的问题关于为何定时器未能成功添加到队列中。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

processingTimeTimersQueue 是一个优先级队列，首先查询顶端元素，顶端元素的时间作为下一次触发时间，将传入的时间作为timer加到队列中，传入时间小于顶端元素时间，将传入定时器作为下一个定时器传入processingTimeService，通过ScheduledThreadPoolExecutor调度下一次触发，实际上是基于调度线程池的一个基础定时调度场景。取系统当前时间和触发时间的时间差作为一个定时调度。

结论：基于processTime的timer本质上是一个系统的定时调度，不管后面来不来element，到schedule定时的点，就会触发triggerTask的run来实现目标的onProcessingTime调用。

问题引入请参考：【Flink】Flink TimeServer 之 timerService().registerProcessingTimeTimer

测试类我是在flink 1.10源码中测试的，位置如下


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  九师兄
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
Flink系列：Event time VS Processing time

				
			

			

				

					NIO4444
				

				

					01-12
					
					427
					
				

			

		

		

			
				
Event time


This is the time at which events actually occurred.




Processing time


This is the time at which events are observed in the system.



			
		

	



                

              
                



	

		

			

				
					
flink按照processTime处理流

				
			

			

				

					xuehuagongzi000的博客
				

				

					09-30
					
					2686
					
				

			

		

		

			
				
1、日志类型


offset = 8336399570, key = 10865354946, value = 14:36:51,465[INFO][resin-port-8573-90242 controller.StatController.init(311)]  - uid=7143aba7e035a5af544849dfaded0753|pid=864314032460198|sver=...

			
		

	



                


  
              

                


	

		

			

				
					
Flink学习笔记：Time的故事

				
			

			

				

					weixin_30853329的博客
				

				

					04-12
					
					224
					
				

			

		

		

			
				
本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：

Flink大数据项目实战：http://t.cn/EJtKhaz
1. Time三兄弟
1.1 DataStream支持的三种time
DataStream有大量基于time的operator，windows操作只是其中一种。

Flink支持三种time:...

			
		

	





	

		

			

				
					
Flink-Table  Streaming 时间属性-Processing time-实践编程（五）中

				
			

			

				

					springk的专栏
				

				

					02-11
					
					600
					
				

			

		

		

			
				
针对Flink-Table  Streaming时间Processing time属性对应的，实践编程如下，演示编码如下：
需要依赖的公共实体类：
import lombok.Data;
@Data
public class StudentInfo {
    private String name;
    private String sex;
    private String cours...

			
		

	



		

			
		



	

		

			

				
					
Flink系列之Time和WaterMark

				
			

			

				

					kkkkk0826的专栏
				

				

					01-11
					
					432
					
				

			

		

		

			
				
　　当数据进入Flink的时候，数据需要带入相应的时间，根据相应的时间进行处理。 
　　让咱们想象一个场景，有一个队列，分别带着指定的时间，那么处理的时候，需要根据相应的时间进行处理，比如：统计最近五分钟的访问量，那么就需要知道数据到来的时间。五分钟以内的数据将会被计入，超过五分钟的将会计入下一个计算窗口。 
　　那么Flink的Time分为三种： 
　　ProcessingTime ： 处理时间...

			
		

	





	

		

			

				
					
flink状态的深入研究

				
			

			

				

					
				

				

					11-12
					
					1365
					
				

			

		

		

			
				
state存储的数据
ValueState 会存储 key、namespace、value，缩写为 <K, N, V>。
MapState 会存储 key、namespace、userKey、userValue，缩写为 <K, N, UK, UV>。
下面解释这些名词
key
ValueState 和 MapState 都是 KeyedState，也就是 keyBy 后才能使用 ValueState 和 MapState。
所以 State 中肯定要保存 key。
group by 

			
		

	





	

		

			

				
					
Flink Sink 接收数据的顺序(Window发送数据顺序)

				
			

			

				

					大数据技术分享
				

				

					03-05
					
					1519
					
				

			

		

		

			
				
Flink Sink 接收数据的顺序(Window发送数据顺序)
概述


InternalTimerServiceImpl.processingTimeTimersQueue存储着同一个Window中所有Key,取第一个key，调用WindowOperator.onProcessingTime进行处理,并发送给Sink


InternalTimerServiceImpl.processingT...

			
		

	





	

		

			

				
					
Flink时间属性

					
最新发布

				
			

			

				

					marui156的专栏
				

				

					04-14
					
					1167
					
				

			

		

		

			
				
Flink支持三种与流数据处理相关的时间概念：Processing Time、Event Time和Ingestion Time。具体如下图所示：当前Flink仅支持Processing Time和Event Time。

			
		

	





	

		

			

				
					
Flink DataStream之Time介绍

				
			

			

				

					不清不慎的博客
				

				

					05-03
					
					771
					
				

			

		

		

			
				
文章目录：

Time的三种类型
Event Time的timestamp和watermark
预定义Timestamp Extractors / Watermark Emitters


一、Time的三种类型
Fink提供了三种Time的类型：

Event Time
Ingest Time
Process Time


1.Event Time
Event Time是事件生成的时间，在进入...

			
		

	





	

		

			

				
					
Flink二：IngestionTime与ProcessingTime

				
			

			

				

					willyan2007的博客
				

				

					01-13
					
					2554
					
				

			

		

		

			
				
IngestionTime进入Flink系统的时间；

ProcessingTime Flink算子操作的时间。

有个程序描述下它们的差异：


//订单对象(userid、消费总额total)
case class Order(userid: Long, total: Long)
case class OrderSummary(startTime: String, endTime: Strin...

			
		

	





	

		

			

				
					
Flink流计算编程--在WindowedStream中体会EventTime与ProcessingTime

				
			

			

				

					涂作权的博客
				

				

					10-07
					
					938
					
				

			

		

		

			
				
一、Flink流处理简介
Flink流处理的API叫做DataStream，可以在保证Exactly-Once的前提下提供高吞吐、低延时的实时流处理。
二、Flink中的Time模型
Flink中提供了3种时间模型：EventTime、ProcessingTime、与Ingestion Time。底层实现上分为2种：Processing Time与Event Time，而Ingestion Time本质上也是一种Event Time，可以通过官方文档上的一张图展现是3者的区别：

Event Time：事件

			
		

	





	

		

			

				
					
轻松通关Flink第08讲：Flink 窗口、时间和水印

				
			

			

				

					sucaiwa的博客
				

				

					03-26
					
					504
					
				

			

		

		

			
				
这一课时我们学习了 Flink 的时间类型和水印生成，内容偏多并且水印部分理解起来需要时间，建议你结合源码再进一步学习。

			
		

	





	

		

			

				
					
Flink Event Time Processing and Watermarks

				
			

			

				

					吟啸徐行
				

				

					05-11
					
					1733
					
				

			

		

		

			
				
由于之前一直看Flink官方文档学习Flink，但是由于看到WaterMark时候弄得满头雾水，便开始到处搜寻WaterMark的资料，在国外网站找到一篇很容易理解WaterMark的博文，再次分享一下！












If you are building a Realtime streaming application, Event Time process

			
		

	





	

		

			

				
					
Flink 时间流处理

				
			

			

				

					chanyue123的博客
				

				

					03-29
					
					3006
					
				

			

		

		

			
				
讲解flink中时间的分类，以及时间在水位线、窗口计算中的应用

			
		

	





	

		

			

				
					
Flink源码解析系列--ProcessingTimeService定时器

				
			

			

				

					打酱油的葫芦娃
				

				

					03-24
					
					7155
					
				

			

		

		

			
				
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone.


@PublicEvolving
public interface ProcessingTimeService {
    // 返回当前的 processing time
    long getCurrentProcessingTime();

    /**
     * Registers a task to be executed when (processing) time is {@code .

			
		

	





	

		

			

				
					
Flink 事件时间与处理时间

				
			

			

				

					qq：489366879
				

				

					04-19
					
					2919
					
				

			

		

		

			
				
Flink 在数据流中支持几种不同概念的时间。

1. 处理时间

Processing Time(处理时间)是指执行相应操作的机器系统时间，是操作算子在计算过程中获取到的所在主机的系统时间。当用户选择使用处理时间时，所有和时间相关的算子，例如 Windows 计算，在当前任务中所有的算子直接使用所在主机的系统时间。例如，一个基于处理时间按每小时进行处理的时间窗口将处理一个小时内（以系统时间为标准）到达指定算子的所有的记录。

处理时间是最简单的一个时间概念，不需要在数据流和机器之间进行协调。具有...

			
		

	





	

		

			

				
					
总结：Flink之Event Time , Processing Time 和 Ingestion Time

				
			

			

				

					w2009211777的专栏
				

				

					03-31
					
					1788
					
				

			

		

		

			
				
一、介绍

Flink DataStream程序的第一部分通常设置基本时间特性。

该设置定义了数据流源的行为方式（例如，它们是否将分配时间戳），以及像KeyedStream.timeWindow(Time.seconds(30))这样的窗口操作应该使用什么时间概念。

Flink在流处理程序中支持不同的时间概念。

ProcessingTime

默认，无需指定

是指执行相应操作的机器的系统时间。
当流处理程序基于处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行相应运算符的机器的系统时钟。 每

			
		

	





	

		

			

				
					
Flink驱动的实时数据仓库实战与挑战

				
			

			

				

					
				

			

		

		

			
				
"基于Flink的实时数据仓库实践分享深入探讨了严选电商在17年下半年开始实施的实时数仓项目。该项目背景具有三个关键特性：一是业务链路长且快速变化，作为ODM电商，严选涉及商品采购、生产、仓储和销售等多个环节，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值