flink实战--读写Hive（ hive on flink ）

最新推荐文章于 2024-11-13 22:17:00 发布
最新推荐文章于 2024-11-13 22:17:00 发布
阅读量1w 收藏 11
点赞数 3
分类专栏： Flink学习必读系列 文章标签： flink读写hive flink flinksql操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/100108176
版权
本文介绍了Apache Flink与Hive的集成，包括Flink 1.9.0及以后版本的Hive集成功能，如何使用HiveCatalog管理元数据，以及通过Flink读写Hive表和使用Hive UDF。内容涵盖HiveCatalog的配置、DML操作、自定义函数和执行模式选择，提供了详细的示例代码和配置说明。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Flink on Hive 介绍

                          Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能,1.10.0版本进行了功能的丰富，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表,Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impala 等，都在一定程度上提供了与 Hive 集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。

设计架构

与 Hive 集成主要包含了元数据和实际表数据的访问，因此我们会从这两方面介绍一下该项目的架构。

1.元数据

                 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink集成hive
weixin_41367158的博客
02-28 602
将上面的三个jar包添加至Flink的lib目录下之后，就可以使用Flink操作Hive的数据表了。执行命令：./sql-client.sh embedded -i …/conf/sql-conf.sql。查询报错： select * from dw.app_exhibition limit 10;其中hive-exec-2.3.4.jar包存在于Hive安装路径下的lib文件夹。再次启动sql客户端即可执行成功。
【Flink】FlinkSQL读取hive数据（批量）
一杯咖啡半杯糖的博客
02-20 1162
Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本
Flink on Hive构建流批一体数仓
格子衫
01-06 548
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处理(B
flink-sql读写hive-1.13
第一片心意的博客
08-02 6972
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
Flink整合Hive、Mysql、Hbase、Kafka
最新发布
ABU009的博客
11-13 531
#Flink整合Hive、Mysql、Hbase、Kafka
基于 Flink + Hive 构建流批一体准实时数仓
yang灬仔
09-27 2150
基于 Flink + Hive 构建流批一体准实时数仓 基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。 想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apa.
Flink系列（五）-- Hive On Flink 【基于Flink1.9】
xcvbxv01的博客
11-18 2248
原文地址（包含源码和图片）：http://note.youdao.com/noteshare?id=4d17b54a43a7a73161fc277c0b21a771&sub=A1159AE1FA3E4ADC9D51F73C0F645F27 1.【pom.xml】 <?xml version="1.0" encoding="UTF-8"?> <project xm...
Flink集成Hive之快速入门--以Flink1.12为例
jmx_bigdata的博客
12-21 6238
使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1.12版本为例，阐述Flink集成Hive的简单步骤，以下是全文，希望对你有所帮助。 公众号『大数据技术
flink-sql-connector-hive-3.1.2-2.12-1.15.4.jar
06-05
flink-sql-connector-hive-3.1.2-2.12-1.15.4.jar
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
03-19
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
flink-sql-connector-hive-3.1.2_2.12-1.12.0.jar flink整合hive3资源包
07-06
由于jar包的下载速度很慢，我想也有很多下载慢的同学，分享下
flink-connector-hive-2.12-1.13.1.jar
03-15
flink-connector-hive_2.12-1.13.1.jar 是 Apache Flink 的一个 Hive 连接器 JAR 包，用于在 Flink 中与 Apache Hive 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 ...
Flink 读取hive，写入hive
热门推荐
qq_31866793的博客
05-21 3万+
1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormat HCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： public abstract class HCatInputFormatBase<T> extends RichInputFormat<T, HadoopInputSplit> ...
flink读写hive-代码方式
微电子学与固体电子学-俞驰
12-19 2001
[3]中提到了一个常见的观点:hive主要是写入流数据.因为BI报表总是为了展现而服务的. 调研了[6], 得到了[4][5]两套方案 [7] 的博主省略了TamAlert这个类,联系不上,但是猜测应该是一个POJO [8]提到了官方的例子,看了下比较复杂 [9]吐槽flink读取hive速度很慢 [10]吐槽搞了三天 Reference: [1]Hive Read & Write [2]Flink 1.1.3 Interact with Hive 2.1.0 [3] Flink Table环境下读
Flink on Hive构建流批一体数仓-flink1.12
张伟的专栏
02-23 2254
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处...
flink 读写hive注意细节
Baron_ND的博客
11-13 453
Linux环境下安装FLink1.11.1并启动SQL-client读取Hive数据 首先去官网下载Flink1.11.1的tgz的包，教程如上篇文章上半部分流程一样，然后配置一下FLINK_HOME/conf/sql-client-defaults.yaml： catalogs: - name: myhive #自己定个名字就行 type: hive hive-conf-dir: /etc/hive/conf # hive-site.xml的路径 hive-
Flink TableAPI和SQL（二十四）连接到外部系统（Hive）
weixin_45417821的博客
05-09 1403
文章目录引入依赖连接到 Hive设置 SQL 方言读写 Hive 表 Hive的主要缺点在于查询的延迟很高，几乎成了离线分析的代言人。而 Flink 的特点就是实时性强，所以 Flink SQL 与 Hive 的结合势在必行。 Flink 与 Hive 的集成比较特别。Flink 提供了“Hive 目录”（HiveCatalog）功能，允许使用Hive 的“元存储”（Metastore）来管理 Flink 的元数据。这带来的好处体现在两个方面： 1）Metastore 可以作为一个持久化的目录，因此使用 H
flink整合hive
啊帅和和的博客
11-29 3599
目录本地集群flinksql客户端介绍写入到print表写入到MySQL表问题整合三种存储位置将元数据放到hive，整合hive 本地集群flinksql客户端 介绍 这里和sparksql、hivesql一样，都可以创建表，执行sql语句，这里尝试创建一张关联了Kafka的表，从官网直接拿模板 可以看到这边正在运行，并且已经出来了数据 由于这是一个动态表，在原表直接修改数据，这里经过了SQL变换的数据也会发生相应的改变 写入到print表 CREATE TABLE print_table (
Flink 1.11 与 Hive 批流一体数仓实践
Ververica的博客
11-03 482
导读：Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与...
flink-sql-connector-hive和flink-connector-hive区别
03-29
flink-sql-connector-hive和flink-connector-hive的区别在于它们的作用和使用方式： flink-sql-connector-hive是一个Flink SQL连接器，用于将Flink与Hive集成，可以在Flink SQL中使用Hive表进行数据处理。它提供了...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值