通过Flink-Sql将Kafka数据写入HDFS

已于 2022-04-06 15:44:47 修改
阅读量4.9k 收藏 5
点赞数
分类专栏： hadoop Flink 文章标签： hive flink
于 2022-04-06 15:41:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_xhf/article/details/123991407
版权
本文介绍了如何通过Flink SQL创建Hive Catalog，建立Kafka和Hive表，并执行同步语句，将Kafka数据稳定地写入到Hive中。关键在于开启checkpoint以确保文件状态从inprogress转为正式。
摘要由CSDN通过智能技术生成

系列文章目录

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

近期，公司有需求将Kafka的数据写入到Hive表中，当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-Sql写入到HDFS的使用。

一、创建Hive Catalog

将Flink-Sql的元数据通过hive catalog保存起来。这样通过Flink Sql创建的表都会保存到Hive中。

CREATE CATALOG myhive_default WITH (
    'type' = 'hive',
    'default-database' = 'default',
    'hive-conf-dir' = '/etc/hive/conf'
);
use catalog myhive_default;

二、创建表

1.创建Kafka表


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  IT_xhf
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
使用Apache Flink将Kafka数据读取并写入HDFS

				
			

			

				

					YazIdris的博客
				

				

					09-22
					
					464
					
				

			

		

		

			
				
在本文中，我们将讨论如何使用Apache Flink来读取Kafka中的数据，并将其写入Hadoop分布式文件系统（HDFS）。在本文中，我们讨论了如何使用Apache Flink将Kafka中的数据读取并写入HDFS。我们创建了一个简单的Flink作业，配置了Kafka连接属性，并使用。在项目的pom.xml文件中，我们需要添加Apache Flink和Kafka的依赖项。我们将创建一个Flink作业来读取Kafka数据并将其写入HDFS。来从Kafka主题中读取数据，并将其添加到Flink的数据流中。

			
		

	



                

            
              



	

		

			

				
					
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS

				
			

			

				

					击水三千里的专栏
				

				

					12-11
					
					1295
					
				

			

		

		

			
				
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流

			
		

	



              


  
              

                


	

		

			

				
					
flink-sql-hdfs-connector:支持根据数据的事件时间落到对应的分区目录

				
			

			

				

					03-18
				

			

		

		

			
				
flink-sql-hdfs-connector
支持根据数据的事件时间落到对应的分区目录
分支说明
master分支不放代码，分支对应适应相同版本的flink，例如分支flink-1.10就仅在flink 1.10版本上测试通过
使用方法
下载代码编译
cd flink-sql-hdfs-connector
mvn clean package
ll target/flink-sql-hdfs-connector-1.10-shaded.jar
复制target / flink-sql-hdfs-connector-1.10-shaded.jar到flink安装目录的lib下即可使用
 sql样例
CREATE TABLE hdfs_file_sink (
  ` id `          bigint ,
  ` policy_id `   INT ,
  ` policy_no ` 

			
		

	





	

		

			

				
					
kafka connect，将数据批量写到hdfs完整过程

				
			

			

				

					weixin_33713707的博客
				

				

					03-23
					
					638
					
				

			

		

		

			
				
版权声明：本文为博主原创文章，未经博主允许不得转载
本文是基于hadoop 2.7.1，以及kafka 0.11.0.0。kafka-connect是以单节点模式运行，即standalone。

一. 首先，先对kafka和kafka connect做一个简单的介绍
　　kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模...

			
		

	



		

			
		



	

		

			

				
					
转载--Flink sql 按时间分区写入到本地文件，hdfs文件

				
			

			

				

					qq_31866793的博客
				

				

					07-13
					
					4064
					
				

			

		

		

			
				
详情请看：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29104

直接上代码：

已经验证过jsonpaquet等数据格式写入，在本地磁盘生成了文件。要注意的是要注意导入依赖：







package flinksql;



import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.ap...

			
		

	





	

		

			

				
					
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)

				
			

			

				

					向热爱自己一样，热爱这个世界。
				

				

					10-17
					
					5117
					
				

			

		

		

			
				
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)

			
		

	





	

		

			

				
					
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）

				
			

			

				

					JasonLee实时计算
				

				

					10-05
					
					1656
					
				

			

		

		

			
				
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。

			
		

	





	

		

			

				
					
Flink实时读取kafka数据写入到hdfs和es

				
			

			

				

					m0_37592814的博客
				

				

					05-25
					
					3148
					
				

			

		

		

			
				
一、前言

软件如下：Flink 1.7.2 、elasticsearch 5.2.2 、hadoop 2.7.2、kafka0.10.2.1、hive 、scala 2.11.11、springboot 需要提前按照好。

（1）流程图：

   流程图跟上一篇文章相似https://blog.csdn.net/m0_37592814/article/details/105027815，主要是把sparkstreaming 替换成flink

（2）Flink官网

 以下Fli...

			
		

	





	

		

			

				
					
mysql-netty-flink-cdc-kafka-spark-hudi-hdfs的例子

					
最新发布

				
			

			

				

					青春不流名
				

				

					05-13
					
					194
					
				

			

		

		

			
				
驱蚊器。

			
		

	





	

		

			

				
					
FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库

				
			

			

				

					yang_shibiao的博客
				

				

					04-08
					
					3568
					
				

			

		

		

			
				
目录

0. 相关文章链接

1. 为什么要实现将业务数据实时写入到数据仓库中

2.架构设计

3.FlinkSQL将binlog写入到HDFS中

4.创建增量外部表（binlog表）

5.创建全量历史表

6.创建Spoop任务同步商品表数据

7.历史数据和增量数据合并

8.Java的nanoTime()

9.创建视图完成按分钟级别更新数仓中的业务表

10.创建定时调度作业

11.总结

0. 相关文章链接

开发随笔文章汇总

1. 为什么要实现将业务数据实...

			
		

	





	

		

			

				
					
flink消费kafka落地到hdfs

				
			

			

				

					小屋
				

				

					02-28
					
					964
					
				

			

		

		

			
				
flink消费kafka落地到hdfs
发现是hdfs的地址没写全，在跳板机上即使不写全也能读写，但flink落hdfs的时候必须写全了。

			
		

	





	

		

			

				
					
【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

				
			

			

				

					JasonLee实时计算
				

				

					10-04
					
					1729
					
				

			

		

		

			
				
这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们自定义的通用反序列化类 PoJoDeserializationSchema 直接把 JSON 格式的数据转成 JasonLeePOJO 对象。提交任务这里就省略了，我们直接在 hive 创建个表，然后把 HDFS 上的数据加载进来，看看能否正常读取出来。

			
		

	





	

		

			

				
					
Flink读取kafka数据并写入HDFS

				
			

			

				

					微信搜：import_bigdata，大数据领域硬核原创作者
				

				

					03-31
					
					7048
					
				

			

		

		

			
				
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。
目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；
核心代码：
public static void main(String[] args) throws Exception {
 
        // set up the streaming execution......

			
		

	





	

		

			

				
					
Flink（十一）Flink连接Kafka输出到HDFS

				
			

			

				

					ThinkMore
				

				

					05-29
					
					4841
					
				

			

		

		

			
				
一、配置项目的依赖


其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入，

hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题，2.7.3为hadoop的版本号。



        <dependency>
            <groupI...

			
		

	





	

		

			

				
					
Flink消费Kafka到HDFS实现及详解

				
			

			

				

					csdn_manong1的博客
				

				

					10-08
					
					547
					
				

			

		

		

			
				
在Kafka 0.9.0.0之后，Kafka社区增加了一系列的功能，其中包含对Kafka集群进行安全管控。Broker与Client之间的权限认证（例如Producer和Consumer）。可以使用SSL或SASL，而SASL支持如下方案：SASL/GSSAPI（Kerberos），开始于0.9.0.0版本SASL/PLAIN，开始于0.10.0.0版本SASL/SCRAM-SHA-256和SASL/SCRAM-SHA-512，开始于0.10.2.0版本。

			
		

	





	

		

			

				
					
flink实现消费kafka并保存到HDFS

				
			

			

				

					weixin_44729673的博客
				

				

					03-14
					
					303
					
				

			

		

		

			
				
flink实现消费kafka并保存到HDFS

			
		

	





	

		

			

				
					
Flink入门(七) 写入HDFS

					
热门推荐

				
			

			

				

					baifanwudi的专栏
				

				

					03-06
					
					1万+
					
				

			

		

		

			
				
maven依赖
增加
      &lt;dependency&gt;
            &lt;groupId&gt;org.apache.flink&lt;/groupId&gt;
            &lt;artifactId&gt;flink-connector-filesystem_2.11&lt;/artifactId&gt;
            &lt;version...

			
		

	





	

		

			

				
					
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据

				
			

			

				

					daqu1314的博客
				

				

					06-07
					
					646
					
				

			

		

		

			
				
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.

			
		

	





	

		

			

				
					
flink sql实现kafka落hdfs

				
			

			

				

					08-01
				

			

		

		

			
				
Flink SQL是Apache Flink的一种查询语言，用于在Flink中进行实时数据处理和分析。要实现将Kafka中的数据落盘到HDFS，可以使用Flink SQL的相关功能。

首先，我们需要在Flink的配置文件中设置Kafka和HDFS的连接信息。在Flink的conf/flink-conf.yaml文件中，配置以下属性：

```
state.backend: filesystem
state.checkpoints.dir: hdfs://<HDFS_HOST>:<HDFS_PORT>/checkpoints
state.savepoints.dir: hdfs://<HDFS_HOST>:<HDFS_PORT>/savepoints
```

其中，<HDFS_HOST>是HDFS的主机地址，<HDFS_PORT>是HDFS的端口号。这样配置后，Flink将会将检查点和保存点存储到HDFS中。

接下来，在Flink SQL中创建一个表来读取Kafka中的数据，并将数据写入到HDFS中。可以使用以下SQL语句实现：

```sql
CREATE TABLE kafka_source (
  key STRING,
  value STRING
) WITH (
  'connector' = 'kafka',
  'topic' = '<KAFKA_TOPIC>',
  'properties.bootstrap.servers' = '<KAFKA_BOOTSTRAP_SERVERS>',
  'properties.group.id' = '<KAFKA_GROUP_ID>',
  'format' = 'json'
);

CREATE TABLE hdfs_sink (
  key STRING,
  value STRING
) WITH (
  'connector' = 'filesystem',
  'path' = 'hdfs://<HDFS_HOST>:<HDFS_PORT>/output',
  'format' = 'csv',
  'csv.field-delimiter' = ','
);

INSERT INTO hdfs_sink
SELECT key, value FROM kafka_source;
```

这里，'<KAFKA_TOPIC>'是Kafka中的主题名称，'<KAFKA_BOOTSTRAP_SERVERS>'是Kafka的启动服务器地址，'<KAFKA_GROUP_ID>'是Kafka消费者组的ID。'json'和'csv'是数据的格式，可以根据实际情况进行调整。

以上SQL语句创建了一个名为kafka_source的输入表，将Kafka中的数据源与之关联。同时，创建了一个名为hdfs_sink的输出表，将数据写入到HDFS中。最后，通过INSERT INTO语句，将kafka_source中的数据写入到hdfs_sink中。

通过以上的配置和操作，Flink SQL就可以实现将Kafka中的数据落盘到HDFS。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值