flink kafka upsert实现代码解析

最新推荐文章于 2024-02-19 11:17:31 发布
最新推荐文章于 2024-02-19 11:17:31 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011624157/article/details/113394950
版权
本文深入解析Flink实现Kafka upsert操作的源码，包括UpsertKafkaDynamicTableFactory工厂类、KafkaDynamicSource产品类以及FlinkKafkaConsumer和FlinkKafkaProducer连接器。在Q&A部分讨论了delete操作与Kafka tombstone消息及数据清洗的问题。
摘要由CSDN通过智能技术生成

flink kafka upsert实现代码解析

概览

本文结合源码分析Kafka upsert的实现
根据flink官方文档提供的DDL SQL解析流程图，实现自定义TableSource(or TableSink)需要做的事有三个：
1、定义可解析catalog的TableSourceFactory(or TableSinkFactory)
2、定义工厂类生产出来的product类（该product类implements DynamicSource(or DynamicSink)接口，用于调用不同数据源的connector）
3、针对不同数据源(或sink端)实现connector，如FlinkKafkaProducer、FlinkKafkaConsumer
DDL SQL-->运行时代码流程图

代码分析

UpsertKafkaDynamicTableFactory（工厂类）

UpsertKafkaDynamicTableFactory的功能是根据catalog配置解析出product类，所以requiredOptions、validatePKConstraints、createDynamicTableSource等类都会有
在这里插入图片描述
下面是带有注释的主要方法


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  左林右李02
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
基于flink的kafka-upsert 案例

				
			

			

				

					科学的N次方
				

				

					11-29
					
					457
					
				

			

		

		

			
				
基于flinksql的kafka-upsert案例

			
		

	



                

              
                



	

		

			

				
					
【flink】upsert kafka 数据展示实战

				
			

			

				

					张小小凡
				

				

					03-31
					
					634
					
				

			

		

		

			
				
数据准备
mysql数据
CREATE DATABASE flink;
USE flink;

CREATE TABLE users (
  user_id BIGINT,
  user_name VARCHAR(1000),
  region VARCHAR(1000)
);

INSERT INTO users VALUES 
(1, 'Timo', 'Berlin'),
(2, 'Tom', 'Beijing'),
(3, 'Apple', 'Beijing');

在sql client中创建表
C

			
		

	



                


  
              

                


	

		

			

				
					
记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】

				
			

			

				

					a123147abc的博客
				

				

					07-18
					
					2728
					
				

			

		

		

			
				
Flink SQL Upsert Kafka Sink 数据乱序

			
		

	





	

		

			

				
					
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

				
			

			

				

					jmx_bigdata的博客
				

				

					01-13
					
					6244
					
				

			

		

		

			
				
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过 flink-cdc-connectors 项目提供的 **changelog-json format **来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDC Connectors操作实践。
在Flink1.12版本中， 新增了一个 upsert connecto

			
		

	



		

			
		



	

		

			

				
					
Flink系列之：Upsert Kafka SQL 连接器

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					12-20
					
					2116
					
				

			

		

		

			
				
更准确地说，数据记录中的 value 被解释为同一 key 的最后一个 value 的 UPDATE，如果有这个 key（如果不存在相应的 key，则该更新被视为 INSERT）。总之，这段代码的作用是通过Kafka连接器创建两个表，并将"pageviews"表中的数据计算出每个地区的pv和uv，并插入到"pageviews_per_region"表中。这段代码是用来创建两个表，一个是"pageviews_per_region"，另一个是"pageviews"，并定义了它们的结构和连接器。

			
		

	





	

		

			

				
					
Flink 实时数仓关键技术解读：Upsert Kafka 和 动态表（Dynamic Table）

				
			

			

				

					Laurence的技术博客
				

				

					02-19
					
					1695
					
				

			

		

		

			
				
“动态表”的本质是什么？它本质上是一条流（Stream）以及在流上维持着的若干状态（State）！upsert-kafka connector 不同于 kafka connector 的主要地方就在于：通过 upsert-kafka 创建的表能自动同步源端数据表的变更，（Table 模式下）查询该表的结果总能和源表实时保持一致，对于初次接触 Flink 的开发者来说会感到“非常神奇”，因为 upsert-kafka 的数据表是建立在 Kafka 上的，Kafka 并不支持更新和删除操作，但 upsert-k

			
		

	





	

		

			

				
					
Flink1.12 Kafka Upsert 笔记

				
			

			

				

					欲望以提升热忱 毅力以磨平高山
				

				

					01-25
					
					8754
					
				

			

		

		

			
				
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档


@[TOC](文章目录)


前言

提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

提示：以下是本篇文章正文内容，下面案例可供参考

一、Upsert Kafka Connector是什么？

Upsert Kafka Connector允许用户以upsert的方式从Kafka主题读取数据或将数据写入Kafka主题。
.

			
		

	





	

		

			

				
					
flink sql clinet 实战：upsert kafka connector -- flink-1.12

				
			

			

				

					chbxw
				

				

					10-20
					
					1968
					
				

			

		

		

			
				
flink sql client:  upsert-kafka connector

			
		

	





	

		

			

				
					
Flink消费Kafka数据1

				
			

			

				

					08-03
				

			

		

		

			
				
Flink消费Kafka数据  Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。  一、实验环境配置  在本实验中，我们将使用...

			
		

	





	

		

			

				
					
java实现flink订阅Kerberos认证的Kafka消息示例源码

				
			

			

				

					04-16
				

			

		

		

			
				
 - 对于生产者，创建一个`FlinkKafkaProducer`实例，同样需要包含Kerberos配置。  - 生产者需要在发送消息前完成Kerberos认证。  5. **处理票证刷新**  - Kerberos票证有有效期，需要定期刷新。在Java中，可以通过`...

			
		

	





	

		

			

				
					
Flink Kafka数据批量写入到数据库

					
最新发布

				
			

			

				

					03-06
				

			

		

		

			
				
将 Flink 与 Kafka 结合，可以实现高效的数据流转和处理。本教程将深入讲解如何将 Flink 从 Kafka 消费数据，并批量写入到数据库。  首先，我们需要理解 Flink 中的 Kafka 连接器。Flink 提供了 Kafka Connecter，...

			
		

	





	

		

			

				
					
Flink+Kafka的JavaAPI应用

				
			

			

				

					05-30
				

			

		

		

			
				
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用

			
		

	





	

		

			

				
					
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar

				
			

			

				

					12-27
				

			

		

		

			
				
综上所述，这个压缩包提供的源码展示了如何使用Apache Flink实现实时从Kafka读取数据，基于定时或数量条件进行聚合，最后将结果存入MySQL数据库。同时，还包括了Kafka和Zookeeper的安装包，便于用户搭建完整的实时...

			
		

	





	

		

			

				
					
flink-connector中kafka和upsertkafka的介绍

				
			

			

				

					chenzuoli的博客
				

				

					08-03
					
					3603
					
				

			

		

		

			
				
标题: flink-connector中kafka和upsertkafka的介绍
日期: 2021-08-03 16:46:43
标签: [flink, kafka, upsert kafka, 实时数仓]
分类: 数据仓库
今天来说下flink sql中常用到的connector：kafka，它承接了实时的消息数据，进行处理，当然，这些消息的特点有可能不一样，怎样处理，得到实时的结果，提供给分析、运营、营销等等。下面来看看具体有什么区别，怎么使用。


kafka中的实时消息，它也可以是关系型数据库的c.

			
		

	





	

		

			

				
					
flink(四) sink

				
			

			

				

					newbrid007的博客
				

				

					03-12
					
					236
					
				

			

		

		

			
				
一 。Sink源
1 官网提供的连接器
在这里插入图片描述

2 bahir提供的连接器 (更新速度落后版本 现在我用的scala 2.12 现在最新的是2.11 在引入的时候会与 自己重新ProcessFunction(会有冲突注 需要用哪个 就 使用哪个就行 这里我继承这个函数主要是为了实现 sideoutput 就是分流 因为在flink 1.12 中 split 和 select 已经移除了)

3 自定应sink
二 代码示例：
import java.sql.{Connection, Drive

			
		

	





	

		

			

				
					
【Flink】 Upsert 乱序问题

				
			

			

				

					weixin_50573352的博客
				

				

					09-21
					
					141
					
				

			

		

		

			
				
业务中，偶尔会接到某订单数据无法在 es 中查询，经添加日志排查，发现，某个订单维表数据发生变更，最后 -D 事件和 +I 事件发生了乱序，在进入 es 时，先执行了 +I 事件，再执行了 -D 事件，于是，es 数据丢失。否则，就说明发生了乱序。另外，我们在写 sql 时，要关注 join key ，尽量优化 sql，让它以 upsert key 做 shuffle，减少出现多重乱序的 join sql，来减少数据异常。数据更新时，在某些情况下，如关联的表够多，并行度够大，可能会有概率出现数据乱序问题。

			
		

	





	

		

			

				
					
Flink（入门）实时数据upsert方式写入ES

				
			

			

				

					HugeBitter的博客
				

				

					05-19
					
					1921
					
				

			

		

		

			
				
Flink（入门）实时数据upsert方式写入ESMaven依赖Flink读取数据源和数据处理过程省略Flink upsert 方式写入ES
软件版本
ElasticSearch 7.10.1
Flink 1.11
Maven依赖


			
		

	





	

		

			

				
					
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					12-31
					
					2808
					
				

			

		

		

			
				
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)

			
		

	





	

		

			

				
					
flink如何实现恰好一次

				
			

			

				

					u011624157的专栏
				

				

					03-19
					
					6776
					
				

			

		

		

			
				
实现恰好一次需要在数据源+计算引擎+sink端都做处理，其中各部分需要满足的条件如下：
1、数据源

可记录消费位点
可重放数据流(当下游计算失败重启时可以重新消费某些数据)

2、计算引擎

有checkpoint来保存状态(当任务失败时从检查点重新启动任务即可，需要保存的状态有当前计算得到的值和数据流的消费位点)

3、sink端

可以实现二段提交，如果上游任务失败，之前写入的数据需要回滚
...

			
		

	





	

		

			

				
					
flink kafka exactly once  代码

				
			

			

				

					04-23
				

			

		

		

			
				
对于Flink的Kafka消费者，可以使用以下代码实现exactly-once语义：  1. 在Flink环境中创建Kafka消费者时，需要使用 KafkaFlinkKryoSerializer 序列化器。  2. 设置ProducerRecordSemantic.EXACTLY_ONCE语义，这样...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
左林右李02

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值