Flink 1.9 读写Hive操作

最新推荐文章于 2024-04-24 07:21:32 发布
最新推荐文章于 2024-04-24 07:21:32 发布
阅读量1.3w 收藏 6
点赞数
分类专栏： Flink 文章标签： flink1.9操作Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/100031476
版权

官网地址：

https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/

源码地址：

https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/connectors/hive/HiveTableSource.java

 

1，第一步指定HiveCatalog


解释：

其中 name 是用户给每个 Catalog 实例指定的名字， Catalog 名字和 DB 名字构成了 FlinkSQL 中元数据的命名空间，因此需要保证每个 Catalog 的名字是唯一的。type 表示 Catalog 的类型&

最低0.47元/天 解锁文章
黄瓜炖啤酒鸭
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink】FlinkSQL读取hive数据并使用hive原生函数
一杯咖啡半杯糖的博客
02-21 282
Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取并使用hive原生的函数做操作，方便后续的操作，本次例子为Flink1.13.6版本
flink实战--读写Hive（ hive on flink ）
阿华田的博客
08-28 1万+
Flink onHive 介绍 Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表,Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impal...
【目标检测数据集】黄瓜数据集VOC格式1309张
最新发布
lwx666sl的博客
04-24 330
今天，介绍黄瓜数据集VOC格式1309张 数据集格式：Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件，仅仅包含jpg图片和对应的xml) 图片数量(jpg文件个数)：1308 标注数量(xml文件个数)：1308 标注类别数：1 标注类别名称:["cucumber"] 每个类别标注的框数： cucumber count = 2939 使用标注工具：labelImg
Flink-1.9.1集成读写Hive（基于CDH 6.1.0集成失败过程记录）
猫不夜行的博客
01-09 3908
写在前面 本文介绍了一次Flink-1.9.1集成读写Hive的过程，介绍了Flink自带sql-client连接Hive的方式以及java实现连接Hive的小demo。 注意：Flink官方表示目前Flink集成Hive仅支持2.3.4和1.2.1两个版本，我在利用CDH-6.1.0-Hadoop-3.0.0（Hive-2.1.1）集群集成Hive过程中发现，无论配置2.3.4和1.2.1都会出...
flink所有支持的catalog详解
第一片心意的博客
08-26 4791
flink所有支持的catalog详解
flink-sql读写hive-1.13
第一片心意的博客
08-02 6770
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 8922
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
Apache Flink-1.9与Hive的兼容性.pdf
03-21
Apache Flink-1.9与Hive的兼容性
flink 1.14.4 集成 hive 3.12 的依赖包
03-22
flink 集成 hive 所需要的依赖包，包括 antlr-runtime-3.5.2.jar flink-connector-hive_2.12-1.14.4.jar flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-...
Flink集成hive
02-28
Flink集成hive
flink-connector-hive-2.12-1.13.1.jar
03-15
flink-connector-hive_2.12-1.13.1.jar 是 Apache Flink 的一个 Hive 连接器 JAR 包，用于在 Flink 中与 Apache Hive 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 ...
Flink 1.9 Table API -kafkaSource
01-07
Flink 1.9 Table API -kafkaSource ​ 使用kafka作为flink的数据源对接flink Table,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作，包括kafka主题的创建、订阅、发布以及具体的小案例 kafka中主题的...
Flink源码分析之深度解读流式数据写入hive
公众号[大数据技术与应用实战]，分享大数据实战案例
08-28 1420
其实我们可以想一下这个工作大概是什么流程，首先要写入hive，我们首先要从hive的元数据里拿到相关的hive表的信息，比如存储的路径是哪里，以便往那个目录写数据，还有存储的格式是什么，orc还是parquet，这样我们需要调用对应的实现类来进行写入，其次这个表是否是分区表，写入数据是动态分区还是静态分区，这些都会根据场景的不同而选择不同的写入策略。 写入数据的时候肯定不会把所有数据写入一个文件，那么文件的滚动策略是什么呢？写完了数据我们如何更新hive的元数据信息，以便我们可以及时读取到相应的数据呢？
聊一聊Flink 写 Hive 的小文件问题
03-12 4788
Flink 1.11 引入了写Hive的功能后，已经在上线了一段时间。下面就聊聊我自己对Flink 写Hive 小文件的一些问题和看法。 问题1： 1.Flink 写 Hive 可能会产生小文件吗？ 简单的说，答案是会。 简单总结下Flink 读kafka写Hive的流程 1.Flink 将kafka数据根据设置的分区策略，实时写入对应分区hdfs 目录的临时文件 inprogress，如下图所示。 在inprogress文件的数据，通过hive是无法查询到的。 2.打checkp..
Flink Hive Catalog操作案例
破晓的成长之路
10-26 1513
在此对Flink读写Hive表操作进行逐步记录，需要指出的是，其中操作Hive分区表和非分区表的DDL有所不同，以下分别记录。
Flink读写数据（hdfs）（DataSet）
热门推荐
a6822342的博客
09-21 1万+
读数据DataSet<String> hdfslines=env.readTextFile("your hdfs path")写数据hdfslines.writeAsText("your hdfs path")以上会根据你的默认的线程数来生成多少个分区文件，如果你想最后生成一个文件的话，可以在后面使用setParallelism(1)，这样最后就只会生成一个文件了。
Flink实战（111）：flink-sql使用（十九）Flink 与 hive 结合使用（八）Hive Streaming 实战解析
张伟的专栏
03-13 2144
《2021年最新版大数据面试题全面开启更新》 Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享： Hive Streaming 的意义 Checkpoint & Dependency 写入 Kafka Hive Streaming Sink Hi...
flink通过连接hive的元数据管理自己的元数据表
weixin_43943806的博客
03-11 5675
首先感谢https://blog.csdn.net/zhangdongan1991/article/details/105582712的分享。 现在的我需要创建或管理很多元数据表，每次都写在代码里面或者配置里面不是很方便。所有就想着有没有一种可以管理flink元数据的办法，最终在官方文档找到了头绪：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_catalog.html 结合上面博主的说明最终成
flink数据写入hive实现demo
Baron_ND的博客
11-30 2228
首先呢，flink写入hive已经在1.10就实现了，但是我们这么用呢，其实是大多数公司不得已的情况，也是慢慢转型而来的一个适中的使用情况，Apache也为我们考虑提供了支持，帮我们再分布式环境、流计算的今天提供了更好的帮助。感谢这些社区贡献者和大佬的们研究分享。以下是实现的一个小demo，大家共同分析学习，有问题交流学习。 注意： 在本地环境读数据要是可以的话，写数据就一定可以的。写的时候需要注意服务器上的环境，主要是权限和jar依赖。 1.代码实现 1.先来个最基本的测试demo，...
flinksql连接hive读取hive表
07-27
要在Flink SQL中连接并读取Hive表，您可以使用Hive catalog或Flink JDBC连接器的方法。 使用Hive catalog的方法如下： 1. 首先，您需要在Flink SQL Stream Builder中注册Hive catalog。这可以通过在Flink SQL CLI或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值