CDH6.3.2集群环境部署Flink-1.15.0

最新推荐文章于 2024-04-15 19:34:14 发布
最新推荐文章于 2024-04-15 19:34:14 发布
阅读量2.2k 收藏 9
点赞数
文章标签： flink big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36722011/article/details/124711866
版权

Flink1.15.0安装部署

1.安装准备

1.1环境介绍

​ 本文档部署环境：CDH6.3.2集群、jdk1.8

1.2 Flink安装包

2.安装包解压和修改配置

2.1 环境变量配置

[root@cdh02 ~]# vim /etc/profile
#jdk1.8
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
#scala
export SCALA_HOME="$PATH:/usr/local/scala/scala-2.12.8"
#Hadoop
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/usr/data/conf/hadoop
export HADOOP_CLASSPATH=$HADOOP_HOME/lib/*.jar
#Flinlk
export FLINK_HOME=/opt/shealphy/flink-1.15.0
#ES
export ES_HOME=/usr/local/elasticsearch-6.8.8

export PATH=$PATH:$SCALA_HOME/bin:$ES_HOME/bin:$FLINK_HOME/bin:$HADOOP_HOME/bin

2.2 Flink的配置

  • 本次安装使用的是Flink on Yarn模式，无需配置master和worker，yarn自行进行调度

    • 拷贝flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar到flink的lib下

      [root@cdh02 shealphy]# scp -r ./flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar ./flink-1.15.0/lib/

3.启动Flink

3.1 启动yarn-session

[root@cdh02 ~]# cd /opt/shealphy/flink-1.15.0/bin
[root@cdh02 bin]# ./yarn-session.sh -jm 1024 -tm 1024 -s 2 -d

  • 启动报错

    1. ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli

      ...
2022-05-09 18:03:22,001 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: yarn.application-attempts, 10
2022-05-09 18:03:22,001 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: fs.overwrite-files, true
2022-05-09 18:03:22,002 INFO  org.apache.flink.configuration.GlobalConfiguration           [] - Loading configuration property: fs.output.always-create-directory, true
2022-05-09 18:03:22,004 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli                [] - Error while running the Flink session.
java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:230) ~[flink-dist-1.15.0.jar:1.15.0]
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:156) ~[flink-dist-1.15.0.jar:1.15.0]
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:851) [flink-dist-1.15.0.jar:1.15.0]

------------------------------------------------------------
 The program finished with the following exception:

java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:230)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.<init>(FlinkYarnSessionCli.java:156)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:851)

      • 报错分析：缺少org.apache.commons.cli相关的jar或者jar包版本不一致

        • 解决1,从集群环境中拷贝对应jar包

          # 拷贝CDH6.3.2集群hadoop lib下的commons-cli-1.2.jar包到flink lib下
# 重新启动flink-session依旧报错

        • 解决2，从Maven仓库下载高版本jar包commons-cli-1.4.jar

          # 拷贝commons-cli-1.4.jar到flink lib下
# 重新启动flink-session,启动成功

2022-05-09 18:44:28,961 WARN  org.apache.hadoop.util.NativeCodeLoader                      [] - Unable to load nativ                          e-hadoop library for your platform... using builtin-java classes where applicable
2022-05-09 18:44:31,990 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Removing 'localhost'                           Key: 'jobmanager.bind-host' , default: null (fallback keys: []) setting from effective configuration; using '0.0.0.                          0' instead.
2022-05-09 18:44:31,991 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Removing 'localhost'                           Key: 'taskmanager.bind-host' , default: null (fallback keys: []) setting from effective configuration; using '0.0.0                          .0' instead.
2022-05-09 18:44:32,032 INFO  org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from f                          raction jvm overhead memory (160.000mb (167772162 bytes)) is less than its min value 192.000mb (201326592 bytes), mi                          n value will be used instead
2022-05-09 18:44:32,042 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Submitting applicati                          on master application_1651710719941_0001
2022-05-09 18:44:32,430 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl        [] - Submitted applicatio                          n application_1651710719941_0001
2022-05-09 18:44:32,430 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Waiting for the clus                          ter to be allocated
2022-05-09 18:44:32,432 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deploying cluster, c                          urrent state ACCEPTED
2022-05-09 18:44:38,569 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - YARN application has                           been deployed successfully.
2022-05-09 18:44:38,570 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface                           cdh02:39198 of application 'application_1651710719941_0001'.
JobManager Web Interface: http://cdh02:39198

3.2 flink启动

  • 有两种模式：session 和 per-job

    这里选用session模式

3.2.1 session方式启动demo

  • 必须在active状态下的namenode上进行

    [root@cdh02 flink-1.15.0]# cd /opt/shealphy/flink-1.15.0
[root@cdh02 flink-1.15.0]# ./bin/flink run examples/batch/WordCount.jar
Setting HBASE_CONF_DIR=/etc/hbase/conf because no HBASE_CONF_DIR was set.
2022-05-09 18:59:10,026 INFO  org.apache.flink.yarn.cli.FlinkYarnSessionCli                [] - Found Yarn properties file under /tmp/.yarn-properties-root.
2022-05-09 18:59:10,026 INFO  org.apache.flink.yarn.cli.FlinkYarnSessionCli                [] - Found Yarn properties file under /tmp/.yarn-properties-root.
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
2022-05-09 18:59:10,393 WARN  org.apache.flink.yarn.configuration.YarnLogConfigUtil        [] - The configuration directory ('/opt/shealphy/flink-1.15.0/conf') already contains a LOG4J config file.If you want to use logback, then please delete or rename the log configuration file.
2022-05-09 18:59:10,436 INFO  org.apache.hadoop.yarn.client.RMProxy                        [] - Connecting to ResourceManager at cdh02/172.16.0.46:8032
2022-05-09 18:59:10,534 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2022-05-09 18:59:10,595 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface cdh02:39198 of application 'application_1651710719941_0001'.
Job has been submitted with JobID 50113f5b0efa88b65f68ad713a7a84fb
Program execution finished
Job with JobID 50113f5b0efa88b65f68ad713a7a84fb has finished.
Job Runtime: 10265 ms
Accumulator Results:
- 0d9904e571e7cf2f06480ef5dd4b3c99 (java.util.ArrayList) [170 elements]
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
...
3.2.2 per-job方式启动demo

  • 启动命令

    [root@cdh02 flink-1.15.0]# ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar
甘末
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和rotateLogFilesWithPrefix: command not found问题，不影响使用
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
Flink on Yarn 报错：NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String；)....
最新发布
weixin_51789753的博客
04-15 169
文件依赖冲突。
CDH6.3.2 集成 Flink 1.17.0 失败过程
qq_41875667的博客
06-10 1752
环境说明:cdh版本:cdh6.3.2。
CDH 6.3.2下安装Flink
weixin_47444415的博客
02-17 1523
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
CDH+Flink+ Parcel FLINK-1.12.0-BIN-SCALA_2.11-el7.parcel 的错误:哈希验证失败
weixin_44904163的博客
02-12 649
CDH部署flink，碰到hash值验证失败 解决方案 修改http配置文件 vim /etc/httpd/conf/httpd.conf 修改配置文件，添加 .parcel 3. 重启http服务 systemctl restart httpd 下载成功
flink-1.13.1 cdh6.3.2
07-24
flink 部署在cdh6.3.2 的包
服务器CDH6.3.2安装编译集成Apache Flink1.12.0
hellowangxiansheng的博客
04-10 352
最后集成Flink 1.12.0版本成功到这就结束了！！！！最后编译的Flink安装包：提取码：1syp。
CDH6.3.2集成flink1.14.5 parcel
07-26
实测可用，自己编译的
CDH6.3.2 集成flink的部署配置
c18092694487t的博客
02-25 2228
CDH6.3.2 集成flink的部署配置 一：flink的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行 在 2019 年 10 月于柏林举行的 Flink Forward 活动上，Cloudera 的工程主管 Marton Balassi 和 Field CTO
CDH6.3.2集成flink1.13
m0_49027804的博客
10-25 3670
CDH6.3.2集成flink1.13
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
CDH6.3.2集成flink1.13 parcel 包
10-25
FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel manifest.json FLINK_ON_YARN-1.13.2.jar 安装教程见 https://blog.csdn.net/m0_49027804/article/details/127511423?spm=1001.2014.3001.5502
CDH6.3.2安装包及安装教程网盘下载地址.txt
04-10
从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。 安装教程中详细说明了安装过程中遇到的各种问题，并且整个过程不需要依赖外网，全部为离线安装。 网盘下载《CDH6.3.2安装包及安装教程网盘下载地址.txt》，包括： manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha CentOS7.6下CDH6.3.2离线安装教程(正式环境).docx
CDH6.3.2编译Flink-1.12.4
04-12
具体编译和集成过程，以及其他组件版本请参考https://blog.csdn.net/weixin_56131938/article/details/117778364
Flink-1.16.2 CDH6.3.2
09-26
CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
ubuntu-CDH6.3.2完整安装包网盘下载地址
09-23
CDH6.3.2完整安装包网盘下载，包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....
CDH6.3.2集成安装flink on yarn服务（编译源码，制作parcel）（更新：flink1.12.2版本测试也可用）
qq_31454379的博客
12-01 7115
目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3. 赋予build.sh文件执行权限4
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-13.6
02-05
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-13.6 是一个 Apache Flink 的库，用于在 Flink 软件框架中使用 Hadoop 的功能。这个库被设计成 Uber JAR，意味着它包含了所有依赖的库和代码，使得其可以独立的执行，无需外部的依赖。 具体而言，这个库的版本是 3.0.0，并针对 Hadoop 的2.x版本进行了 shading，也就是对原始的 Hadoop 代码进行了修改和重命名。这样做的目的是避免与其他版本的 Hadoop 发生冲突，确保 Flink 能够与 Hadoop 无缝集成。 此外，这个库也是针对 Cloudera CDH 版本 6.3.2 进行的优化，以保证在 CDH 中能够平稳地运行。CDH 是 Cloudera 公司提供的一个 Hadoop 发行版，它集成了多个开源组件，并提供了企业级的支持和工具。 总结来说，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-13.6 是一个用于 Flink 框架中的库，用于与 Hadoop 无缝集成。通过 shading 和适配 CDH，这个库保证了 Flink 在环境中的稳定性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值