FLINK 1.12.2 读取KAFKA写入HIVE的完整示例

最新推荐文章于 2024-08-07 09:31:57 发布

arwenlin

最新推荐文章于 2024-08-07 09:31:57 发布

阅读量3.7k

点赞数 4

分类专栏： FLINK 1.12.2 学习实践记录文章标签： flink hive hadoop java kafka

本文链接：https://blog.csdn.net/arwenlin/article/details/117126189

版权

该博客提供FLINK 1.12.2从KAFKA读取数据并写入HIVE的实例，包括依赖配置、代码示例及集群发布方法，涉及打包上传和IDE远程发布。

摘要由CSDN通过智能技术生成

本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。

1依赖

<dependencies>

<dependency>

<groupId>com.fasterxml.jackson.core</groupId>

<artifactId>jackson-databind</artifactId>

<version>2.12.0</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-connector-kafka_2.11</artifactId>

<version>${flink.version}</version>

</dependency>

<!-- flink -->

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-core</artifactId>

<version>${flink.version}</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-clients_2.11</artifactId>

<version>${flink.version}</version>

</dependency>





<!--flink用来解析json的依赖-->

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-json</artifactId>

<version>${flink.version}</version>

</dependency>



<!--flinksqlonhive-->

<dependency>

<groupId>org.apache.thrift</groupId>

<artifactId>libfb303</artifactId>

<version>0.9.3</version>

<type>pom</type>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-connector-hive_2.11</artifactId>

<version>${flink.version}</version>

</dependency>



<!--table api-->

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-table-api-java-bridge_2.11</artifactId>

<version>${flink.version}</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-table-planner-blink_2.11</artifactId>

<version>${flink.version}</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink