【Flink】FlinkSQL读取hive数据（批量）

最新推荐文章于 2024-06-08 22:45:19 发布
最新推荐文章于 2024-06-08 22:45:19 发布
阅读量881 收藏 2
点赞数 4
分类专栏： Flink实战 文章标签： flink hive 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/136185493
版权
一、简介：

Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本

二、依赖jar包准备：

官网地址如下：

Overview | Apache Flink

1、我们需要准备相关的jar包到Flink安装目录的lib目录下，我们需要根据官网hive的版本下载Flink的live连接包

 2、额外我们需要准备Flink的hadoop依赖包，否则会报缺少包的错误，下载过程见如下博客

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration-CSDN博客

下载后的jar包传到Flink安装目录的lib目录下，如下图：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一杯咖啡半杯糖
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
向热爱自己一样，热爱这个世界。
10-17 4461
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
Flink on Hive构建流批一体数仓
格子衫
01-06 484
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处理(B
flink读取hive写入http接口
最新发布
青春不流名
06-08 1185
在这种模型中，当一个类需要被加载时，首先会从父类加载器开始查找，如果父类加载器能够找到并加载该类，那么就直接使用父类#加载器加载的类，不再尝试由当前类加载器自己加载。log.info("加载org.apache.flink.table.planner.delegation.DialectFactory类的路径是 === {}", jarPath2);#相对应的，还有另一种类加载器委派模型叫做 #"child-first"，在这种模型中，类加载器会首先尝试自己加载类，只有在自己无法加载时才委托给父类加载器。
flink-sql读写hive-1.13
第一片心意的博客
08-02 6794
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
大数据FlinkSQL整合Hive
赵广陆
09-13 912
目录1 介绍2 集成Hive的基本方式3 准备工作4 SQL CLI5 代码演示 1 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/ https://zhuanlan.zhihu.com/p/338506408 使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过
Flink TableAPI和SQL（二十四）连接到外部系统（Hive）
weixin_45417821的博客
05-09 1345
文章目录引入依赖连接到 Hive设置 SQL 方言读写 Hive 表 Hive的主要缺点在于查询的延迟很高，几乎成了离线分析的代言人。而 Flink 的特点就是实时性强，所以 Flink SQL 与 Hive 的结合势在必行。 Flink 与 Hive 的集成比较特别。Flink 提供了“Hive 目录”（HiveCatalog）功能，允许使用Hive 的“元存储”（Metastore）来管理 Flink 的元数据。这带来的好处体现在两个方面： 1）Metastore 可以作为一个持久化的目录，因此使用 H
Flink 1.11新特性之SQL Hive Streaming简单示例
LittleMagic's Blog
07-15 1996
前言 今天本来想搞篇走读StreamingFileSink源码的文章，但是考虑到Flink 1.11版本发布已经有段时间了，于是就放松一下，体验新特性吧。 与1.10版本相比，1.11版本最为显著的一个改进是Hive Integration显著增强，也就是真正意义上实现了基于Hive的流批一体。本文用简单的本地示例来体验Hive Streaming的便利性。 添加相关依赖 测试集群上的Hive版本...
Flink Hive生态兼容性介绍1
08-04
- SQL是处理大数据的主要工具，无论是流式还是批量数据。 - Flink在处理大量数据流时，相对于其他解决方案展现出明显优势，例如Blink在TPC-DS基准测试中表现出色，尤其是在大数据量情况下，其执行速度远超Spark。 ...
流式数据湖Paimon课程完整课件内容
11-08
Paimon的核心原理在于提供统一的批处理和流处理能力，允许数据的批量写入、读取，以及实时的流式处理。其特点是支持低成本、高可靠性的元数据管理和可扩展性。Paimon还具备丰富的合并引擎，能处理主键表和仅追加表，...
基于 Flink 的典型 ETL 场景实现-实时数仓篇.pdf
06-19
同时，Flink 也支持将结果写入批处理系统，如Hadoop的Hive，构建实时与离线数据仓库的统一视图。 四、状态管理与容错 在实时处理中，保持状态一致性至关重要。Flink 提供了一套强大的状态管理系统，支持有界和无界...
2万字详解数据湖概念特征架构方案场景以及建湖全过程.docx
12-16
Hadoop是一个批量数据处理基础设施，以HDFS为核心存储，以MapReduce为基本计算模型。围绕HDFS和MR，产生了一系列的组件，不断完善整个大数据平台的数据处理能力，例如面向在线KV操作的HBase，面向SQL的HIVE、面向...
flink 1.14.4 集成 hive 3.12 的依赖包
03-22
flink 集成 hive 所需要的依赖包，包括 antlr-runtime-3.5.2.jar flink-connector-hive_2.12-1.14.4.jar flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-exec-3.1.2.jar libfb303-0.9.3.jar 开箱即用，如果觉得好用请点个赞把
大数据分析关键技术39.pptx
09-21
Hive使用Thrift Server进行JDBC连接，通过MetaStore获取元数据，Driver负责SQL的编译、优化和执行，生成MapReduce任务交由Hadoop执行。 总结来说，大数据分析的关键技术在于如何根据业务需求选择合适的计算模式，如...
Flink SQL --Flink 整合 hive
加油
11-13 1067
catalog(元数据) ---> database ---> table ---> 数据 --- > 列。
FlinkSQL连接Hive并动态插入进Hive数据库中
weixin_43911155的博客
02-17 5079
大家好,我是代码搬运工。最近在利用FlinkSQL进行开发连接Hive数据库的时候遇到了一些小问题,接下来分享给大家以免以后踩坑。 在一个项目中我主要利用FlinkSQL来连接Hive数据库并执行Insert动态插入语句来关联设备信息,话不多说我们直接开始。 1.首先我们先用FlinkSQL连接Hive !注意,这里我们要使用阿里的Blanner 我在这里踩了巨坑,一定要用阿里的Blanner才可以执行动态insert 因为Flink是流式处理, 如果我们构建table的环境是流式环境的话,数据是源源不断得
Flink1.11.0 SQL与hive整合
m0_37592814的博客
08-16 5753
一、前言 此次flink sql 整合 hive 主要是能在flink sql中读写hive数据,为flink实时写数据进入hive 构建实时数仓做准备工作。 flink 1.11.0 hive 2.3.4 hadoop 2.7.2 主要步骤主要是参考官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_catalog.html 二、主要步骤 1.开启Hive M...
26-Flink-高级特性-新特性-FlinkSQL整合Hive
Eistert
07-01 264
Flink-高级特性-新特性-FlinkSQL整合Hive 1.介绍 版本 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/ 添加依赖和jar包和配置 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-
Hive SQL 迁移 Flink SQL 在快手的实践
Ververica的博客
07-11 1623
快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。
Flink实战（八十六）：flink-sql使用（十三）Flink 与 hive 结合使用（五）Hive Streaming
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 538
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the hive table in the form of streaming. 1 Stream
flinksql连接hive读取hive表
07-27
要在Flink SQL中连接并读取Hive表，您可以使用Hive catalog或Flink JDBC连接器的方法。 使用Hive catalog的方法如下： 1. 首先，您需要在Flink SQL Stream Builder中注册Hive catalog。这可以通过在Flink SQL CLI或Flink SQL客户端中执行相应的DDL语句来完成。\[3\] 2. 注册完成后，您可以在Flink SQL中使用Hive表。您可以通过在SQL查询中使用类似于"SELECT * FROM hive_table"的语句来读取Hive表的数据。\[1\] 使用Flink JDBC连接器的方法如下： 1. 首先，您需要确保Hive表的数据可以通过JDBC连接器访问。这可以通过在Flink的配置文件中配置Hive JDBC连接器的相关信息来实现。\[2\] 2. 配置完成后，您可以在Flink SQL中使用JDBC连接器来读取Hive表。您可以通过在SQL查询中使用类似于"SELECT * FROM jdbc_table"的语句来读取Hive表的数据。 无论您选择使用Hive catalog还是JDBC连接器，都可以在Flink SQL中连接并读取Hive表的数据。具体选择取决于您的需求和环境。 #### 引用[.reference_title] - *1* *2* *3* [通过 Flink SQL 使用 Hive 表丰富流](https://blog.csdn.net/wang_x_f911/article/details/127980900)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值