【Flink实战系列】Flink SQL 实时同步数据到 Hive

已于 2022-06-01 11:33:26 修改
阅读量2k 收藏 3
点赞数
分类专栏： Flink 实战系列 文章标签： hive flink sql
于 2022-06-01 11:06:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/125080041
版权
本文详细介绍了如何使用 Apache Flink SQL 实时同步数据到 Hive，探讨了环境配置、所需依赖、代码实现、任务提交、Flink UI 监控以及在 Hive 中验证数据的过程，展示了Flink作为实时数据仓库处理引擎的优势。
摘要由CSDN通过智能技术生成

通过 HiveCatalog, Apache Flink 可以对 Apache Hive Tables 进行统一的 BATCH 和 STREAM 处理。这意味着Flink 可以作为一个比 Hive 的批处理引擎性能更好的选择，或者可以连续地在 Hive 表中读写数据，从而支持实时数据仓库应用程序。这篇文章就来介绍一下使用 Flink SQL 实时同步数据到 Hive 的流程。

环境

flink: 1.15.0
hadoop: 2.9.0
hive: 2.3.4

依赖

<dependency>
            <groupId>org.apache.flink</groupId
了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive
阿华田的博客
03-31 1503
为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。
【Flink 实战系列】Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive
JasonLee实时计算
10-06 1661
本文主要介绍了 Flink 实时同步数据到 Hudi，然后再把数据加载到 Hive 的流程，加载数据可以通过手动的方式也可以配置让 Hudi 自动创建 Hive 表完成加载数据，以及这两种方式的区别，和使用过程中遇到问题的解决方案。
Flink on zeppelin 实时写入hive
JasonLee实时计算
07-26 2793
概述随着Flink1.11.0版本的发布,一个很重要的特性就是支持了流数据直接写入到hive中,用户可以非常方便的用SQL的方式把kafka的数据直接写入到hive里面.这篇文章会给出F...
大数据笔记之flink-cdc实时同步数据
最新发布
m0_37635053的博客
12-12 1131
是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。Flink CDC 在任务提交过程中进行了优化，并且增加了一些高级特性，如表结构变更自动同步（Schema Evolution）、数据转换（Data Transformation）、整库同步（Full Database Synchronization）以及 精确一次（Exactly-once）语义。在 /opt/module/flink/flink-cdc-3.0.0 创建job目录，在job目录下创建一个文件(名字任取)
Flink同步Mysql数据到Hive（不开启Binlog）
《@书山有径%》的博客
03-05 4020
Flink同步Mysql数据到Hive（不开启Binlog） 方式一：自定义Source和自定义Sink 方式二：FlinkSQL使用JDBC和HiveCatalog 方式三：Flink
flink按天分区实时写入hive表问题
qq_42937659的博客
02-08 1685
flink按天分区实时写入hive表问题
flink数据同步mysql到hive_flink教程-flink 1.11 使用sql将流式数据写入hive
weixin_42238594的博客
02-23 775
修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.altertabletable_namesetTBLPROPERTIES('is_generic'='false');altertabl...
基于Flink+SQL实现数据同步.doc
03-06
本文将详细介绍如何使用 Apache Flink 和 SQL 来实现从 Hive 到 MongoDB 的数据同步过程。 #### 关键技术点 1. **Apache Flink**：是一种高性能、分布式计算框架，支持事件驱动和批处理两种模式。 2. **Apache ...
【Flink实战系列】Flink 读取 Hive 数据同步到 Kafka
JasonLee实时计算
07-30 912
代码非常的简单，这里采用的是批量读取的方式，通过HiveCatalog直接去读hive表的数据，当然除了这种实现外，还有很多种实现方式，比如还可以流式的读hive,还可以通过读文件的方式都是可以的，这里就只写了这一种实现。这几个包是必须添加的，需要注意的是，如果集群上已经有这些包的话，在打包的时候就不要把依赖打进去，如果没有的话，就打到最终的包里。否则可能会出现jar包冲突，或者ClassNotFoundException异常。因为这是一个批式任务，所以在任务执行完后就直接退出了。...
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
JasonLee实时计算
10-05 1705
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。
flink数据同步mysql到hive_基于Canal与Flink实现数据实时增量同步(二)
weixin_42363231的博客
02-06 1262
背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是...
Flink-to-Hive实现
zhdan~的专栏
05-07 2589
Flink to Hive实现
Flink1.12.2集成hudi0.9.0+同步hive实践
dudu146863的博客
09-07 4945
目录 一、组件下载 二、Batch模式实施步骤： 2.1 启动flink-sql客户端 2.2 创建表 2.3插入数据 2.4 根据主键更新数据 三、stream模式实现步骤： 3.1 创建表 3.2从批模式写入一条数据 3.3隔几秒后在流模式可以读取到一条新增的数据 四.Hive 同步 4.1 hudi编译： 4.2. Hive 环境准备 1.启动hive元数据 2.在 Hive 服务器导入 Hudi 包 4.3. Hive 配置模版 3.1源表的建表语句: 3.1..
Flink写入Hive
docsz的博客
05-06 4452
Flink-pom打包插件 <build> <pluginManagement> <plugins> <!--编译Scala插件--> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId&gt
demo-flink1.11.2实现数据写入hive
xinji
03-10 809
环境准备 1. hadoop 集群的开启,hive metastore 服务开启 2. flink-conf.yaml, sql-client-defaults.yaml 配置 注意: 必须开启checkpoint ,flink 才可提交分区操作 3. flink 集群的开启 启动：yarn-session.sh -n 3 -s 3 -nm flink-session -d 关闭：yarn application -kill applicationId 4. KafKa集群开启.
Flink SQL 1.11新功能详解：Hive 数仓实时化 & Flink SQL + CDC 实践
微信搜：import_bigdata，大数据领域硬核原创作者
07-20 1269
问题导读 1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社区发展趋势回顾 自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并在同年 4 月发布 Flink 1.8 版本后，Flink 在社区的活跃程度犹如坐上小火箭般上升，每个版本包含的 git
Flink 离线批处理 Mysql to Hive 离线数仓
aaaak_的博客
09-30 1927
source 端读取mysql .sink 端 写入 Hive
flink数据写入hive实现demo
Baron_ND的博客
11-30 2384
首先呢，flink写入hive已经在1.10就实现了，但是我们这么用呢，其实是大多数公司不得已的情况，也是慢慢转型而来的一个适中的使用情况，Apache也为我们考虑提供了支持，帮我们再分布式环境、流计算的今天提供了更好的帮助。感谢这些社区贡献者和大佬的们研究分享。以下是实现的一个小demo，大家共同分析学习，有问题交流学习。 注意： 在本地环境读数据要是可以的话，写数据就一定可以的。写的时候需要注意服务器上的环境，主要是权限和jar依赖。 1.代码实现 1.先来个最基本的测试demo，...
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 9634
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
掌握Flink SQL大数据处理：Flink1.14.3实战课程解析
服务安装和组件集成开发部分会涉及到Flink与其他系统的集成，例如如何将Flink与Kafka集成来处理实时数据流。业务代码开发部分将重点介绍如何编写实际的Flink SQL程序来处理数据。 最后，课程会展示如何将处理的结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值