flink1.14 使用cdh 5.11 hive作为catalog,在编译时报错的问题

加入如下依赖即可,不需要再使用flink-shaded包了

<!-- flink1.14 专用以下包 -->

<dependency>

    <groupId>commons-configuration</groupId>

    <artifactId>commons-configuration</artifactId>

    <version>1.10</version>

</dependency>

<dependency>

    <groupId>org.apache.htrace</groupId>

    <artifactId>htrace-core</artifactId>

    <version>3.1.0-incubating</version>

</dependency>

<dependency>

    <groupId>org.apache.htrace</groupId>

    <artifactId>htrace-core4</artifactId>

    <version>4.0.1-incubating</version>

</dependency>

<dependency>

    <groupId>org.cloudera.htrace</groupId>

    <artifactId>htrace-core</artifactId>

    <version>2.04</version>

</dependency>

<!-- flink1.14 专用以上包 -->

CDH集成Flink 1.14可以按照以下步骤进行: 1. 下载Flink 1.14版本:在Flink官方网站或其他可靠的软件下载网站上下载Flink 1.14版本的二进制文件。 2. 安装CDH:根据CDH的安装文档,将CDH集群部署在你的目标环境中。确保CDH集群处于可正常使用的状态。 3. 配置Flink环境:在CDH集群中的一台主机上,创建一个用于安装Flink的目录,并将Flink的二进制文件解压到该目录中。 4. 配置Flink集群:进入Flink的安装目录,编辑`conf/flink-conf.yaml`文件,根据你的CDH集群配置进行相应的调整。配置项中包括Flink集群的工作目录、日志目录、任务管理器数量等。 5. 启动Flink集群:在Flink安装目录下执行`./bin/start-cluster.sh`命令启动Flink集群。此Flink集群将会启动并分配相应的任务管理器。 6. 验证Flink集群:通过访问Flink的Web界面,可以查看Flink集群的状态。确保集群中的所有任务管理器都已成功启动,并且整个集群的运行状态正常。 7. 配置CDH集群中的Flink作业:使用Flink提供的API或其他方式编写或导入Flink作业。然后,将作业提交到CDH集群中的Flink集群中进行运行。 总结起来,CDH集成Flink 1.14的步骤包括下载Flink 1.14版本、安装CDH、配置Flink环境、配置Flink集群、启动Flink集群、验证Flink集群以及配置CDH集群中的Flink作业。通过这些步骤,你就可以在CDH集群中成功集成和使用Flink 1.14了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值