CDH6.3.2集成安装flink on yarn服务（编译源码，制作parcel）（更新：flink1.12.2版本测试也可用）

最新推荐文章于 2024-12-03 17:48:26 发布

栗子_yangxw

最新推荐文章于 2024-12-03 17:48:26 发布

阅读量8k

点赞数 5

分类专栏：大数据组件知识

本文链接：https://blog.csdn.net/qq_31454379/article/details/110440037

版权

该教程详细介绍了如何在CDH6.3.2环境下，通过编译Flink1.10.2源码和制作parcel包，集成安装Flink on YARN服务。涉及内容包括环境准备、下载安装包、编译源码、制作parcel、配置parcel库以及解决可能出现的问题。

摘要由CSDN通过智能技术生成

一：环境准备
二：下载安装包
三：编译flink-shaded版本
四：编译Flink1.10.2源码
五：制作parcel包
六：配置parcel库
七：部署yarn服务
- 如果启动报错，请查看角色日志：
- - 1. 报错1 ： java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException
  - 2. 报错2： org.apache.flink.configuration.IllegalConfigurationException: Kerberos login configuration is invalid; keytab is unreadable
webUI

一：环境准备

操作系统 Centos7.5
CDH6.3.2集群，需添加yarn服务、zookeeper服务

3.本文版本flink1.10, 20210315更新：实测 flink1.12.2可用

准备Git环境，maven环境，jdk环境（编译源码需要）

[root@node001 ~]# git --version
git version 1.8.3.1
[root@node001 ~]# mvn -version
Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
Maven home: /opt/module/apache-maven-3.6.1
Java version: 1.8.0_191, vendor: Oracle Corporation, runtime: /opt/module/jdk1.8.0_191/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.14.4.el7.x86_64", arch: "amd64", family: "unix"
[root@node001 ~]#

二：下载安装包

1. Flink-shaded包

https://flink.apache.org/downloads.html

flink-shaded-10.0-src.tgz下载链接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uaMeYPky-1606813106293)(Untitled_images/image-20201201152141021.png)]

2. flink1.10.2 源码包

https://www.apache.org/dyn/closer.lua/flink/flink-1.10.2/flink-1.10.2-src.tgz

flink-1.10.2-src.tgz下载链接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8ocXofZB-1606813106297)(Untitled_images/image-20201201152347658.png)]

3. maven配置文件

maven配置文件需要加上以下镜像源


<!-- flink 源码编译-->
	        <mirror>
                <id>alimaven</id>
                <mirrorOf>central</mirrorOf>
                <name>aliyun maven</name>
                <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
        </mirror>
        <mirror>
                <id>alimaven</id>
                <name>aliyun maven</name>
                <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
                <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
                <id>central</id>
                <name>Maven Repository Switchboard</name>
                <url>http://repo1.maven.org/maven2/</url>
                <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
                <id>repo2</id>
                <mirrorOf>central</mirrorOf>
                <name>Human Readabl