通过Flink-Sql将Kafka数据写入HDFS

已于 2022-04-06 15:44:47 修改
阅读量4.9k 收藏 5
点赞数
分类专栏： hadoop Flink 文章标签： hive flink
于 2022-04-06 15:41:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_xhf/article/details/123991407
版权
本文介绍了如何通过Flink SQL创建Hive Catalog，建立Kafka和Hive表，并执行同步语句，将Kafka数据稳定地写入到Hive中。关键在于开启checkpoint以确保文件状态从inprogress转为正式。
摘要由CSDN通过智能技术生成

系列文章目录

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

近期，公司有需求将Kafka的数据写入到Hive表中，当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-Sql写入到HDFS的使用。

一、创建Hive Catalog

将Flink-Sql的元数据通过hive catalog保存起来。这样通过Flink Sql创建的表都会保存到Hive中。

CREATE CATALOG myhive_default WITH (
    'type' = 'hive',
    'default-database' = 'default',
    'hive-conf-dir' = '/etc/hive/conf'
);
use catalog myhive_default;

二、创建表

1.创建Kafka表


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  IT_xhf
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）

				
			

			

				

					JasonLee实时计算
				

				

					10-05
					
					1612
					
				

			

		

		

			
				
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。

			
		

	



                

              
                



	

		

			

				
					
flink-1.10.0-bin-scala_2.11.tgz

				
			

			

				

					05-05
				

			

		

		

			
				
5. **Connectors与Formats**：Flink集成了多种数据源和数据接收器，如Kafka、RabbitMQ、HDFS等。`flink-1.10.0`包含这些连接器的实现，使得用户可以轻松地从各种数据源读取和写入数据。  6. **Table & SQL API**：...

			
		

	



                


  
              

                


	

		

			

				
					
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)

				
			

			

				

					向热爱自己一样，热爱这个世界。
				

				

					10-17
					
					4866
					
				

			

		

		

			
				
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)

			
		

	





	

		

			

				
					
Flink SQL 实时读取 kafka 数据写入 Clickhouse —— 日志处理（三）

					
最新发布

				
			

			

				

					奔跑的蜗牛的博客
				

				

					07-21
					
					1603
					
				

			

		

		

			
				
本文总结了如何使用使用 Clickhouse 保存日志数据，以及如何通过 Flink SQL 将我们的日志实时从 kafka 同步至 clickhouse，然后在结合强大的第三方查询 BI 工具 superset，玩转业务日志，挖掘业务日志的潜在价值。
本文设计到的技能知识点比较多，需要熟悉 Clickhouse， Kafka, FlinkSQL, Superset 等，我之前的文章中总结了一些关于 Clickhouse 和 Kafka 相关的内容，感兴趣的读者可以看看.

			
		

	



		

			
		



	

		

			

				
					
Flink消费Kafka到HDFS实现及详解

				
			

			

				

					大JAVA解决方案
				

				

					03-26
					
					2420
					
				

			

		

		

			
				
1.概述

最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。

2.内容

这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然后采用Flink去实时消费积累到HDFS上，积累后的数据可以构建数据仓库（如Hive）做...

			
		

	





	

		

			

				
					
Flink（十一）Flink连接Kafka输出到HDFS

				
			

			

				

					ThinkMore
				

				

					05-29
					
					4812
					
				

			

		

		

			
				
一、配置项目的依赖


其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入，

hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题，2.7.3为hadoop的版本号。



        <dependency>
            <groupI...

			
		

	





	

		

			

				
					
flink消费kafka落地到hdfs

				
			

			

				

					小屋
				

				

					02-28
					
					900
					
				

			

		

		

			
				
flink消费kafka落地到hdfs
发现是hdfs的地址没写全，在跳板机上即使不写全也能读写，但flink落hdfs的时候必须写全了。

			
		

	





	

		

			

				
					
Flink消费Kafka数据，写入HDFS - 使用 StreamingFileSink

				
			

			

				

					magic_kid_2010的专栏
				

				

					07-16
					
					1万+
					
				

			

		

		

			
				
一、应用场景：

Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。



二、Streaming File Sink

由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd--HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。

1、Flink 提供了两个分桶策略，分桶策略实现了


o...

			
		

	





	

		

			

				
					
flink-1.12.7-bin-scala_2.12.tgz

				
			

			

				

					06-15
				

			

		

		

			
				
 - **数据源与接收器**：Flink 支持多种数据源和接收器，如 Kafka、HDFS、RabbitMQ 等，可以方便地接入各种数据流。  - **数据转换**：通过丰富的算子集，如 Map、Filter、Join 等，对数据进行清洗、转换和聚合。  -...

			
		

	





	

		

			

				
					
flink-sql-java.zip_KY7_asf_zip

				
			

			

				

					09-23
				

			

		

		

			
				
9. **连接器和格式**：Flink提供了丰富的连接器用于读取和写入各种数据源，如Kafka、HDFS、Cassandra等，同时也支持多种数据格式，如JSON、CSV、Avro等。  10. **并行与分布式处理**：Flink可以在多节点集群上运行，...

			
		

	





	

		

			

				
					
flink连接器jar包.rar

				
			

			

				

					04-11
				

			

		

		

			
				
Flink的连接器允许程序读取和写入这些系统的数据，使得Flink能够处理来自不同源的数据流。  标签 "flink java" 表明我们关注的是使用Java语言来操作Flink。Apache Flink提供了丰富的Java API，使得开发者可以用Java...

			
		

	





	

		

			

				
					
flink-training-exercises

				
			

			

				

					04-23
				

			

		

		

			
				
 - **Sink Functions**：定义如何将处理后的数据写入目标系统，如HDFS、Cassandra或Kafka。  3. **窗口操作**：  - **Time Windows**：基于时间划分的数据片段，用于处理时间敏感的聚合操作。  - **Tumbling Windows...

			
		

	





	

		

			

				
					
【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

				
			

			

				

					JasonLee实时计算
				

				

					10-04
					
					1683
					
				

			

		

		

			
				
这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们自定义的通用反序列化类 PoJoDeserializationSchema 直接把 JSON 格式的数据转成 JasonLeePOJO 对象。提交任务这里就省略了，我们直接在 hive 创建个表，然后把 HDFS 上的数据加载进来，看看能否正常读取出来。

			
		

	





	

		

			

				
					
FLINK 1.12.2 流式写入HDFS（hive）的几种方式

					
热门推荐

				
			

			

				

					arwenlin的博客
				

				

					05-21
					
					1万+
					
				

			

		

		

			
				
Flink 1.12.2 写入hdfs有3种方式，依照api出现的先后依次介绍，重点介绍Flink SQL on Hive的方式。

目录

1 streaming file sink

2 FileSink

3 Flink SQL on Hive

3.1添加依赖

3.2 配置Hive Catalog及使用Flink终端访问Hive

3.3 代码调用Flink SQL写入Hive

4 总结

1 streaming file sink

1.7版Flink开始支持通过StreamingFileSi

			
		

	





	

		

			

				
					
flink实现消费kafka并保存到HDFS

				
			

			

				

					weixin_44729673的博客
				

				

					03-14
					
					286
					
				

			

		

		

			
				
flink实现消费kafka并保存到HDFS

			
		

	





	

		

			

				
					
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据

				
			

			

				

					daqu1314的博客
				

				

					06-07
					
					599
					
				

			

		

		

			
				
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.

			
		

	





	

		

			

				
					
FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库

				
			

			

				

					yang_shibiao的博客
				

				

					04-08
					
					3534
					
				

			

		

		

			
				
目录

0. 相关文章链接

1. 为什么要实现将业务数据实时写入到数据仓库中

2.架构设计

3.FlinkSQL将binlog写入到HDFS中

4.创建增量外部表（binlog表）

5.创建全量历史表

6.创建Spoop任务同步商品表数据

7.历史数据和增量数据合并

8.Java的nanoTime()

9.创建视图完成按分钟级别更新数仓中的业务表

10.创建定时调度作业

11.总结

0. 相关文章链接

开发随笔文章汇总

1. 为什么要实现将业务数据实...

			
		

	





	

		

			

				
					
转载--Flink sql 按时间分区写入到本地文件，hdfs文件

				
			

			

				

					qq_31866793的博客
				

				

					07-13
					
					4041
					
				

			

		

		

			
				
详情请看：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29104

直接上代码：

已经验证过jsonpaquet等数据格式写入，在本地磁盘生成了文件。要注意的是要注意导入依赖：







package flinksql;



import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.ap...

			
		

	





	

		

			

				
					
flink sql实现kafka落hdfs

				
			

			

				

					08-01
				

			

		

		

			
				
Flink SQL是Apache Flink的一种查询语言，用于在Flink中进行实时数据处理和分析。要实现将Kafka中的数据落盘到HDFS，可以使用Flink SQL的相关功能。

首先，我们需要在Flink的配置文件中设置Kafka和HDFS的连接信息。在Flink的conf/flink-conf.yaml文件中，配置以下属性：

```
state.backend: filesystem
state.checkpoints.dir: hdfs://<HDFS_HOST>:<HDFS_PORT>/checkpoints
state.savepoints.dir: hdfs://<HDFS_HOST>:<HDFS_PORT>/savepoints
```

其中，<HDFS_HOST>是HDFS的主机地址，<HDFS_PORT>是HDFS的端口号。这样配置后，Flink将会将检查点和保存点存储到HDFS中。

接下来，在Flink SQL中创建一个表来读取Kafka中的数据，并将数据写入到HDFS中。可以使用以下SQL语句实现：

```sql
CREATE TABLE kafka_source (
  key STRING,
  value STRING
) WITH (
  'connector' = 'kafka',
  'topic' = '<KAFKA_TOPIC>',
  'properties.bootstrap.servers' = '<KAFKA_BOOTSTRAP_SERVERS>',
  'properties.group.id' = '<KAFKA_GROUP_ID>',
  'format' = 'json'
);

CREATE TABLE hdfs_sink (
  key STRING,
  value STRING
) WITH (
  'connector' = 'filesystem',
  'path' = 'hdfs://<HDFS_HOST>:<HDFS_PORT>/output',
  'format' = 'csv',
  'csv.field-delimiter' = ','
);

INSERT INTO hdfs_sink
SELECT key, value FROM kafka_source;
```

这里，'<KAFKA_TOPIC>'是Kafka中的主题名称，'<KAFKA_BOOTSTRAP_SERVERS>'是Kafka的启动服务器地址，'<KAFKA_GROUP_ID>'是Kafka消费者组的ID。'json'和'csv'是数据的格式，可以根据实际情况进行调整。

以上SQL语句创建了一个名为kafka_source的输入表，将Kafka中的数据源与之关联。同时，创建了一个名为hdfs_sink的输出表，将数据写入到HDFS中。最后，通过INSERT INTO语句，将kafka_source中的数据写入到hdfs_sink中。

通过以上的配置和操作，Flink SQL就可以实现将Kafka中的数据落盘到HDFS。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值