flink重温笔记（七）：Flink 流批一体 API 开发—— Connector 连接器

最新推荐文章于 2024-12-10 10:34:09 发布
最新推荐文章于 2024-12-10 10:34:09 发布
阅读量2k 收藏 28
点赞数 27
分类专栏： Flink重温笔记 文章标签： flink 笔记 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60732994/article/details/136160670
版权
本文详细介绍了ApacheFlink中JDBC、Kafka和RedisConnectors的使用，包括数据源读取、单词处理、数据写入以及一致性保障的checkpoint机制。作者通过示例展示了如何将socket数据流进行单词计数，并将结果存储到MySQL、Kafka和Redis中。
摘要由CSDN通过智能技术生成

Flink学习笔记

前言：今天是学习 flink 的第七天啦！学习了 flink 中 connector（数据连接器） 部分知识点，这一部分只要是解决数据处理之后，数据到哪里去的问题，主要学习了数据存储到以下三处：
1、关系型数据库 mysql ；
2、消息队列：kafka；
3、非关系型数据库：redis
我觉得还是比较有意思的，这些是以后工作要用到的技能，我一定要好好掌握！

Tips：“莫道春光难揽取，浮云过后艳阳天！”明天周一，又是新的一天，要深入学习 flink 的四大基石属性！

文章目录

二、Flink 流批一体 API 开发

5. Connectors

5.1 JDBC Connector

该连接器可以向 JDBC 数据库写入数据。

5.1.1 依赖

                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    


                



	

		

			

				
					
flink重温笔记（五）：Flink 流批一体 API 开发——物理分区（下）

				
			

			

				

					m0_60732994的博客
				

				

					02-16
					
					2095
					
				

			

		

		

			
				
前言：今天是学习 flink 的第五天啦！主要学习了物理分区较难理解的部分，在这个部分的三个分区的学习中， rescale partition 和 forward partition 其原理可以归类 pointwise 模式，其他的 partition 其原理可以归类 all_to_all 模式，而比较有趣的是 custom partitioning，这个可以进行根据值的输入进行自定义分区。

			
		

	



                

            
              



	

		

			

				
					
flink重温笔记（四）：Flink 流批一体 API 开发——物理分区（上）

				
			

			

				

					m0_60732994的博客
				

				

					02-15
					
					1485
					
				

			

		

		

			
				
今天是学习flink的第四天啦！学习了物理分区的知识点，这一次学习了前4个简单的物理分区，称之为简单分区篇！Tips：我相信自己会越来会好的，明天攻克困难分区篇，加油！

			
		

	



              


  
              

                


	

		

			

				
					
Flink之Connector连接器

				
			

			

				

					alex大喵的博客
				

				

					07-07
					
					7940
					
				

			

		

		

			
				
Streaming Connectors

预定义的Source和Sink

基于文件的Source
	readTextFile(path)
		readFile(fileInputFormat,path)
	
	基于文件的Sink
	writeAsText
		writeAsCsv
	
	基于Socket
	socketTextStream
	
	基于Socket的Sink
	writeToSo...

			
		

	





	

		

			

				
					
Flink Connector 开发

					
热门推荐

				
			

			

				

					程序猿进阶
				

				

					01-05
					
					1万+
					
				

			

		

		

			
				
Flink里预定义了一部分source和sink。在这里分了几类。

			
		

	



		

			
		



	

		

			

				
					
flink-http-connector 项目常见问题解决方案

					
最新发布

				
			

			

				

					gitblog_01076的博客
				

				

					12-10
					
					682
					
				

			

		

		

			
				
flink-http-connector 项目常见问题解决方案

    
        
            flink-http-connector
            Http Connector for Apache Flink. Provides sources and sinks for Datastream , Table and SQL APIs.  
         ...

			
		

	





	

		

			

				
					
Flink系列六：Flink SQl 之常用的连接器（Connector）

				
			

			

				

					weixin_52134189的博客
				

				

					06-04
					
					2378
					
				

			

		

		

			
				
动态表 & 连续查询，连接器（Connector），数据格式

			
		

	





	

		

			

				
					
如何正确使用Flink Connector？

				
			

			

				

					chikuai9995的博客
				

				

					09-06
					
					870
					
				

			

		

		

			
				
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。 

Fl...

			
		

	





	

		

			

				
					
Flink 自定义数据源Connector

				
			

			

				

					tianhouquan的专栏
				

				

					05-13
					
					5279
					
				

			

		

		

			
				
flink自定义数据源

			
		

	





	

		

			

				
					
flink重温笔记（六）：Flink 流批一体 API 开发—— 数据输出 sink

				
			

			

				

					m0_60732994的博客
				

				

					02-17
					
					1540
					
				

			

		

		

			
				
今天是学习 flink 的第七天啦！学习了 flink 中 sink（数据槽） 部分知识点，这一部分只要是解决数据处理之后，数据到哪里去的问题，我觉得 flink 知识点虽然比较难理解，但是代码跑通后，逻辑还是比较有趣的！Tips：毛爷爷说过：“宜将剩勇追穷寇，不可沽名学霸王！”明天周日除了复习前面知识点之外，也要继续努力学习接下来的知识点，继续加油！

			
		

	





	

		

			

				
					
flink重温笔记（十七）： flinkSQL 顶层 API ——SQLClient 及流批一体化

				
			

			

				

					m0_60732994的博客
				

				

					03-15
					
					1506
					
				

			

		

		

			
				
今天是学习 flink 的第 17 天啦！学习了 flinkSQL 的客户端工具 flinkSQL-client，主要是解决大数据领域数据计算避免频繁提交jar包，而是简单编写sql即可测试数据，文章中主要结合 hive，即编写 flinksql 可以操作 hive 中的数据表，以及流批一体化：kafak 将数据写入到 hive中，结合自己实验猜想和代码实践，总结了很多自己的理解和想法，希望和大家多多交流！

			
		

	





	

		

			

				
					
Flink（四十五）—— Flink Connector 深度解析

				
			

			

				

					weixin_42073629的博客
				

				

					10-21
					
					692
					
				

			

		

		

			
				
本文主要分享Flink connector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下Flink Connector有哪些。第二部分会重点介绍在生产环境中经常使用的kafka connector的基本的原理以及使用方法。第三部分答疑环节，看大家有没有一些问题。

Flink Streaming Connector

Flink是新一代流批统一的计算引擎，它需要从不同的第三方存储引擎中把数据读过来，进行处理，然后再写出到另外的存储引擎中。Connector的作用就相当于一个连接器，连接 Flink

			
		

	





	

		

			

				
					
【Flink】Flink 流批 一体 下 新的 Connector

				
			

			

				

					九师兄
				

				

					09-12
					
					910
					
				

			

		

		

			
				
出自：作者： 任庆盛阿里巴巴研发工程师连接器是 Flink 与外部系统间沟通的桥梁。如： 我们需要从 Kafka 里读取数据， 在 Flink 里把数据处理之后再重新写回到 HIVE、 elastic search 这样的外部系统里去上图显示的是一项十分典型的例子。我们首先从 kafka 里通过 Source 读取其中的部分记录。

			
		

	





	

		

			

				
					
手把手教你如何写一个FLink Connecter(一)

				
			

			

				

					Bryce_Loski的博客
				

				

					04-04
					
					1184
					
				

			

		

		

			
				
如何自定义flink sql connector sink

			
		

	





	

		

			

				
					
18.Flink之Flink Connector

				
			

			

				

					ailiandeziwei的专栏
				

				

					05-09
					
					399
					
				

			

		

		

			
				
如何正确使用 Flink Connector？

Posted by董亭亭2019年9月03日



董亭亭

快手 实时计算引擎团队负责人

董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学，曾就职于奇虎360、58集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。

本文主要分享 Fl...

			
		

	





	

		

			

				
					
Flink自定义Connector

				
			

			

				

					阿甘兄
				

				

					04-12
					
					3327
					
				

			

		

		

			
				
文章目录01 引言02 Connector概述2.1 Metadata - 元数据模块2.2 Planning - 规划模块2.3 Runtime - 运行时模块03 Connector相关API3.1 Dynamic Table Factories - 动态表工厂3.2 Dynamic Table Source - 动态表源3.2.1 Scan Table Source - 扫描表源3.2.2 Lookup Table Source  - 查找表源3.3 Dynamic Table Sink - 动态表接

			
		

	





	

		

			

				
					
API安全产品，面试官都被搞懵了

				
			

			

				

					2401_83974173的博客
				

				

					04-13
					
					685
					
				

			

		

		

			
				
这些策略通常会结合使用，以提高产品在市场中的知名度和竞争力。

			
		

	





	

		

			

				
					
Flink Connectors

				
			

			

				

					qq_32165517的博客
				

				

					08-25
					
					374
					
				

			

		

		

			
				
Flink Connectors
Connector是什么
预定义的 Source 和 Sink
一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。 预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。
附带的连接器
连接器可以和多种多样的第三方系统进行交互。目前支持以下系统:

Ap

			
		

	





	

		

			

				
					
Flink随堂笔记：Connectors概述

				
			

			

				

					大数据研习社
				

				

					03-25
					
					800
					
				

			

		

		

			
				
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：

Flink大数据项目实战：http://t.cn/ExrHPl9

1. 各种Connector

1.1Connector是什么鬼

Connectors是数据进出Flink的一套接口和实现，可以实现Flink与各种存储、系统的连接

注意：数据进出Fli...

			
		

	





	

		

			

				
					
Flink1.4 HDFS Connector

				
			

			

				

					SmartSi
				

				

					03-05
					
					3114
					
				

			

		

		

			
				
原文来源于：Flink1.4 HDFS Connector此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
卡林神不是猫

			
如果您觉得有帮助可以鼓励小卡哦

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值