flink集成到cdh

最新推荐文章于 2024-01-14 22:05:28 发布

weixin_42094092

最新推荐文章于 2024-01-14 22:05:28 发布

阅读量813

点赞数

分类专栏： flink 文章标签： flink

本文链接：https://blog.csdn.net/weixin_42094092/article/details/107520256

版权

flink 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

cdh目前没有flink的官方parcels包,那么怎么把flink集成到cdh集群呢,其实很简单,把flink包拷到cdh某台主机,即插即用,具体步骤如下:
flink下载页面:https://flink.apache.org/downloads.html
flink官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/
官网下载flink-1.10.1-bin-scala_2.11.tgz
拷上集群,那个机器需要提交任务就拷到哪个机器的/opt目录
解压:
tar flink-1.10.1-bin-scala_2.11.tgz
cd flink-1.10.1
测试:
./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar
如果报
java.lang.RuntimeException: Could not identify hostname and port in ‘yarn-cluster’.(1.9版本)
java.lang.IllegalArgumentException: The given host:port (‘yarn-cluster’) doesn’t contain a valid port(1.10版本)
将flink-shaded-hadoop-2-uber-2.6.5-7.0.jar拷到flink目录lib/
如1.10版本 flink-1.10.1/lib