【Flink】FlinkSQL读取hive数据（批量）

最新推荐文章于 2024-02-24 16:50:02 发布
最新推荐文章于 2024-02-24 16:50:02 发布
阅读量953 收藏 2
点赞数 4
分类专栏： Flink实战 文章标签： flink hive 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/136185493
版权
本文详细介绍了如何使用FlinkSQL读取Hive数据，包括Flink1.13.6版本的依赖jar包配置、Hive表与数据准备以及FlinkSQL的编写与执行，旨在提供一种简便的数据操作方法。
摘要由CSDN通过智能技术生成
一、简介：

Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本

二、依赖jar包准备：

官网地址如下：

Overview | Apache Flink

1、我们需要准备相关的jar包到Flink安装目录的lib目录下，我们需要根据官网hive的版本下载Flink的live连接包

 2、额外我们需要准备Flink的hadoop依赖包，否则会报缺少包的错误，下载过程见如下博客

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一杯咖啡半杯糖
关注
专栏目录
订阅专栏
Flink】FlinkSQL读取hive数据并使用hive原生函数
一杯咖啡半杯糖的博客
02-21 474
Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取并使用hive原生的函数做操作，方便后续的操作，本次例子为Flink1.13.6版本
HiveFlink整合原理与代码实例讲解
最新发布
程序员光剑
06-29 704
Hive-Flink整合原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Hive-Flink整合,HiveQL查询,Flink实时流处理,大数据集成,SQL on Streaming Data
FlinkSQL学习笔记（二）表定义详解
weixin_37172178的博客
02-24 2002
表的表示结构catalog name：元数据空间，常用于标识不同的“源”，比如hive catalog，inner catalog等；使得Flink里面创建的表hive中能查到，但是不一定可以取数，原因在于这里不同的“源”的定义在hive中没有，不一定可以查到。更多细节参考补充说明。database name：通常语义中的“库”table name：通常语义中的“表”表与视图FlinkSQL中的表，可以是Virtual的（view视图）和regular的（table常规表）
flink-sql读写hive-1.13
第一片心意的博客
08-02 6881
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
flink读取hive数据写入mysql_Flink SQL 连接Hive并写入/读取数据
weixin_30487899的博客
02-05 2636
1. 添加依赖1.11.22.11org.apache.flinkflink-streaming-scala_${scala.version}${flink.version}org.apache.flinkflink-connector-kafka-0.11_${scala.version}${flink.version}org.apache.flinkflink-clients_${scala....
flink-sql读写hive-1.16
第一片心意的博客
11-06 2716
本文为 flink 1.16 官网中读写 hive 部分的翻译整理。
flink实战--读写Hive（ hive on flink ）
阿华田的博客
08-28 1万+
Flink onHive 介绍 Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表,Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impal...
【Flink实战系列】Flink 读取 Hive 数据同步到 Kafka
JasonLee实时计算
07-30 845
代码非常的简单，这里采用的是批量读取的方式，通过HiveCatalog直接去读hive表的数据，当然除了这种实现外，还有很多种实现方式，比如还可以流式的读hive,还可以通过读文件的方式都是可以的，这里就只写了这一种实现。这几个包是必须添加的，需要注意的是，如果集群上已经有这些包的话，在打包的时候就不要把依赖打进去，如果没有的话，就打到最终的包里。否则可能会出现jar包冲突，或者ClassNotFoundException异常。因为这是一个批式任务，所以在任务执行完后就直接退出了。...
Flink sql批处理进行同Hive操作
lbg20211023的博客
04-29 661
Flink sql批处理进行同Hive操作
【实战】flink读取hive写入redis
遇事不决问春风
11-04 1327
一、业务背景 业务需求：需要实时统计截止到目前 存量订购用户数 根据指标口径：截止到目前依旧处于订购状态的用户 分析：根据离线计算统计出来的，目前存量用户有2E多，而要实时统计该指标，需要将新的订购日志与这2E多数据进行比对，当前该用户如果不是订购状态，则存量订购用户数+1。 并且统计的存量用户的清单表在hive中，如果每来一条日志，就去查询一下hive表，太慢了。所以将数据加载到redis中，不仅可以比对该号码，同时还进行了去重操作。 二、软件版本 flink 1.11.0 redis 2.9 hive
spark sql读取hive数据直接写入doris，离线批量导入
qq_31866793的博客
09-16 2956
一，sparksql读取hive表 二，spark自定义输出 三，通过streamload方式数据写入doris 四，测试 五，总结
大数据FlinkSQL整合Hive
赵广陆
09-13 938
目录1 介绍2 集成Hive的基本方式3 准备工作4 SQL CLI5 代码演示 1 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/ https://zhuanlan.zhihu.com/p/338506408 使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过
Flink on Hive构建流批一体数仓
格子衫
01-06 517
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处理(B
flink读取hive数据写入mysql_flink 读取hive的数据
weixin_39545805的博客
02-05 1039
flink1.8 对hive 的支持不够好，造成300W的数据，居然读了2个小时，打算将程序迁移至spark。 先把代码贴上mavenorg.apache.hivehive-jdbc1.1.0org.apache.hadoophadoop-common3.1.2jdk.toolsjdk.tools1.8system${JAVA_HOME}/lib/tools.jarjavaprivate fina...
Flink 读取hive，写入hive
热门推荐
qq_31866793的博客
05-21 3万+
1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormat HCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： public abstract class HCatInputFormatBase<T> extends RichInputFormat<T, HadoopInputSplit> ...
flink读写hive-代码方式
微电子学与固体电子学-俞驰
12-19 1973
[3]中提到了一个常见的观点:hive主要是写入流数据.因为BI报表总是为了展现而服务的. 调研了[6], 得到了[4][5]两套方案 [7] 的博主省略了TamAlert这个类,联系不上,但是猜测应该是一个POJO [8]提到了官方的例子,看了下比较复杂 [9]吐槽flink读取hive速度很慢 [10]吐槽搞了三天 Reference: [1]Hive Read & Write [2]Flink 1.1.3 Interact with Hive 2.1.0 [3] Flink Table环境下读
flink读取Hive数据写入Kafka（Hive Connector 和 kafka connector）
铛铛当的博客
04-02 5511
flink读取Hive数据写入Kafka 由于需要将kafka的数据读取出来并和hive中的数据进行join操作，突然发现flink1.12.0后实现了批流统一，所以学习了一下心得Hive Connector，并编写了一个读取Hive插入到kafka的小例子（感觉没什么好写的流水账）。 参考： https://www.jianshu.com/p/01c363f166c2 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/t
Flink SQL1.12 三 Hive 内表和外表读写
weixin_38424594的博客
02-15 2272
目录 3.1 hive 3.1.1 flink sql 3.1.2 数据源准备 3.1.3sql-client 3.1.4 代码 3.1.5 采坑 3.1.6 配置 (点击参考) 3.1.7 hive的demo(点击参考)****** 这里解释几个对于hive 数据访问比较关键的点. ***HiveCatalog 的作用 ***hive的兼容表和非兼容表 is_generic=true ***Dialect的作用 SET table.sql-dialect=hive; ...
flinksql连接hive读取hive表
07-27
无论您选择使用Hive catalog还是JDBC连接器，都可以在Flink SQL中连接并读取Hive表的数据。具体选择取决于您的需求和环境。 #### 引用[.reference_title] - *1* *2* *3* [通过 Flink SQL 使用 Hive 表丰富流]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值