CDH6.3.2编译并集成Flink

等闲之辈莫等闲

已于 2022-06-01 16:30:02 修改

阅读量3.3k

点赞数 1

文章标签： flink cloudera centos

于 2021-06-10 14:14:55 首次发布

本文链接：https://blog.csdn.net/weixin_56131938/article/details/117778364

版权

本文档详细介绍了如何在CDH6.3.2上编译Flink1.12.4源码，并制作flink-parcel文件，包括环境配置、编译flink-shaded版本、编译Flink源码、生成csd文件、在CDH中安装Flink服务等关键步骤，提供了完整的操作指南。

摘要由CSDN通过智能技术生成

有道友需要parcel，笔者就重新编译了一份，已经编译并成功集成到CDH的资源已上传，有需自取https://download.csdn.net/download/weixin_56131938/85114925

一、安装包准备
CDH 6.3.2(Hadoop 3.0.0)、Flink 1.12.4、flink-shaded-12.0、Centos7.9、Maven 3.6.3、Scala-2.13.6和JDK1.8.0_291

笔者是在搭建好的CDH集群中集成Flink
flink包下载：Index of /apache/flink

CDH搭建：基于CM 6.3.1搭建CDH 6.3.2平台大数据集群（rpm方式）
二、环境配置
1.将安装包上传到相应目录并解压
tar -xzvf xx.tgz
2.配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_291
export PATH=$JAVA_HOME/bin:$PATH

export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=$MAVEN_HOME/bin:$PATH

export SCALA_HOME=/usr/local/scala-2.13.6
export PATH=$SCALA_HOME/bin:$PATH

修改后 source /etc/profile
3、修改maven的setting.xml文件(conf目录下)
添加以下内容

<mirrors>
        <mirror>
            <id>alimaven</id>
            <mirrorOf>central</mirrorOf>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
        </mirror>
        <mirror>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <id>central</id>
            <name>Maven Repository Switchboard</name>
            <url>http://repo1.maven.org/maven2/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <

最低0.47元/天解锁文章