table类型数据提交_flink教程-application模式提交集成hive的flink任务

最新推荐文章于 2024-01-26 10:38:13 发布

weixin_39620099

最新推荐文章于 2024-01-26 10:38:13 发布

阅读量195

点赞数

文章标签： table类型数据提交

本文链接：https://blog.csdn.net/weixin_39620099/article/details/111364472

版权

本文介绍了在Flink 1.11版本的Application模式下，如何解决因集群缺少Hive配置导致的集成问题。通过分析源码，提出添加带有HiveConf的构造方法，从而在集群环境中成功提交包含Hive集成的Flink任务。

摘要由CSDN通过智能技术生成

背景
方案
- 原因探索
- 添加带有HiveConf的构造方法背景

flink在1.11 版本提供了一个新的提交任务模式--Applicaton模式，具体的使用可以参考 [详解flink 1.11中的新部署模式-Application模式]，使用该模式将会在集群的master节点提交任务，减少per job模式客户端和服务器之间的网络传输，减少了客户端的压力，缩短了任务提交的时间。

此外对于大数据而言，hive是一个非常重要的仓库，flink也提供了与hive的集成，具体的使用方式可以参考官网 [1]。

一个简单的使用hive的例子:

EnvironmentSettings settings = EnvironmentSettings.newInstance().inBatchMode().build();
TableEnvironment tableEnv = TableEnvironment.create(settings);

String name            = "myhive";
String defaultDatabase = "mydatabase";
String hiveConfDir     = "/opt/hive-conf"; // a local path
Strin