Flink 读取hive，写入hive

最新推荐文章于 2024-08-07 14:44:01 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-08-07 14:44:01 发布

阅读量3.6w

点赞数 8

分类专栏： Flink scala Hive

本文链接：https://blog.csdn.net/qq_31866793/article/details/90408534

版权

这篇博客详细记录了如何使用Flink 1.11版本读取和写入Hive数据。内容包括通过HCatInputFormat实现读取，探讨写入Hive的接口实现，以及遇到的依赖问题。还提供了使用Hive JDBC方式进行读写的示例代码，并分享了Flink 1.11新特性及踩坑经验。

摘要由CSDN通过智能技术生成

1，读取实现了，也是找的资料，核心就是实现了

HCatInputFormat
HCatInputFormatBase

上面这两个类，底层也是继承实现了 RichInputFormat：

public abstract class HCatInputFormatBase<T> extends RichInputFormat<T, HadoopInputSplit> implements ResultTypeQueryabl

百度下载这个jar，然后把类找出来

依赖：（大概是这些）

<!--flink_hive依赖-->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hadoop-fs</artifactId>
    <version>1.6.2</version>
</dependency>

<dependency>
    <groupId>com.jolbox</groupId>
    <artifactId>bonecp</artifactId>
    <version>0.8.0.RELEASE</version>
</dependency>

<dependency>
    <groupId>com.twitter</groupId>
    <artifactId>parquet-hive-bundle</artifactId>
    <version>1.6.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.1.0</version>
</dependency>


<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-metastore</artifactId>
    <version>2.1.0</version>
</dependency>


<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-cli</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-common</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-service</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-shims</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hive.hcatalog</groupId>
    <artifactId>hive-hcatalog-core</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libfb303</artifactId>
    <version>0.9.3</version>
    <type>pom</type>
</dependency>


<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hadoop-compatibility_2.11</artifactId>
    <version>1.6.2&