Flink1.11 读取kafka数据写入hive，未完待续

最新推荐文章于 2023-12-20 12:08:30 发布

黄瓜炖啤酒鸭

最新推荐文章于 2023-12-20 12:08:30 发布

阅读量2.7k

点赞数 3

分类专栏： Flink 文章标签： flink1.11初试

本文链接：https://blog.csdn.net/qq_31866793/article/details/107206019

版权

本文记录了作者在尝试使用Flink 1.11新版本时，遇到从Kafka读取数据并写入Hive的挑战。根据官方文档操作后，遇到依赖问题和API变化导致的输出打印困难，目前出现NoClassDefFoundError。作者计划后续尝试直接从Hive查询数据插入Kafka。

摘要由CSDN通过智能技术生成

昨天晚上Flink1.11出了，这次改动很多，我只关心hive这一部分。

目前尝试了几个小时用代码读取hive，安装官网的文档，没成功，先蹭个热点，记录下。

先贴一下依赖吧：

注意：反正各种报错，看社区有说需要flink-clients.jar 手动去下载导入依赖

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>


    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-table-api-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-table-api-java-bridge_2.11</artifactId>
        <vers