CDH整合Flink1.10(小白教程)

        Flink1.10一个划时代的版本，它标志着对 Blink[1] 的整合宣告完成。而且随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。

       众所周知，Apache Flink官网下载安装包不能支持CDH，需要编译后进行安装，参照网上很多资料，尝试了多天，终于成功，供大家参考。

一、环境准备

1、环境：Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.11

2、源码和CDH 版本：Flink 1.10.0 、 CDH 6.2.0(Hadoop 3.0.0)

注：mvn版本、CDH版本和scala版本无所谓，理论上可根据自己的版本自行更改。

二、安装包准备；

1、maven版本不要太低，我用的是maven 3.6.3：

        https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

2、不同的 Flink 版本使用的 Flink-shaded不同，1.10 版本使用 10.0：

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz

3、flink1.10.0tar包：

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-src.tgz

三、安装MAVEN并修改源：已安装maven的可跳过安装步骤，但要记得修改setting.xml

1、下载maven tar包,移动到安装目录(略过)。

2、解压tar

命令：tar -zxvf apache-maven-3.6.3-bin.tar.gz

3、配置环境变量(略过)

查看命令：mvn --version

4、修改setting.xml：

命令：vim apache-maven-3.6.3/conf/settings.xml

添加如下配置：

<mirrors>
    <mirror>
        <id>alimaven</id>
        <mirrorOf>central</mirrorOf>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    </mirror>
    <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>central</id>
        <name>Maven Repository Switchboard</name>
        <url>http://repo1.maven.org/maven2/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>repo2</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>http://repo2.maven.org/maven2/</url>
    </mirror>
    <mirror>
        <id>ibiblio</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>
    </mirror>
    <mirror>
        <id>jboss-public-repository-group</id>
        <mirrorOf>central</mirrorOf>
        <name>JBoss Public Repository Group</name>
        <url>http://repository.jboss.org/nexus/content/groups/public</url>
    </mirror>
    <mirror>
        <id>google-maven-central</id>
        <name>Google Maven Central</name>
        <url>https://maven-central.storage.googleapis.com
        </url>
        <mirrorOf>central</mirrorOf>
    </mirror>

    <!-- 中央仓库在中国的镜像 -->
    <mirror>
        <id>maven.net.cn</id>
        <name>oneof the central mirrors in china</name>
        <url>http://maven.net.cn/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
</mirrors>

四、编译对应的flink-shaded 版本

1、解压tar包

命令：tar -zxvf flink-shaded-10.0-src.tgz

2、修改pom.xml

命令：vim flink-shaded-10.0/pom.xml

添加如下配置：

<profile>
    <id>vendor-repos</id>
    <activation>
        <property>
            <name>vendor-repos</name>
        </property>
    </activation>

    <!-- Add vendor maven repositories -->
    <repositories>
        <!-- Cloudera -->
        <repository>
            <id>cloudera-releases</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <!-- Hortonworks -->
        <repository>
            <id>HDPReleases</id>
            <name>HDP Releases</name>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
        <repository>
            <id>HortonworksJettyHadoop</id>
            <name>HDP Jetty</name>
            <url>https://repo.hortonworks.com/content/repositories/jetty-hadoop</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
        <!-- MapR -->
        <repository>
            <id>mapr-releases</id>
            <url>https://repository.mapr.com/maven/</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
    </repositories>
</profile>

3、编译：

命令1：cd flink-shaded-10.0/

命令2：mvn -T2C clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.2.0 -Dscala-2.11 -Drat.skip=true

注：hadoop版本，cdh版本，scala版本根据自己的集群情况自行修改。

五、编译flink1.10.0源码

1、解压tar包;

命令：tar -zxvf flink-1.10.0-src.tgz

2、编译

命令1：cd flink-1.10.0/

命令2：mvn clean install -DskipTests -Dfast -Drat.skip=true -Dhaoop.version=3.0.0-cdh6.2.0 -Pvendor-repos -Dinclude-hadoop -Dscala-2.11 -T2C

注：注意修改成自己对应的版本

3、提取出flink1.10.0对应的二进制包到安装目录

目录地址：flink-1.10.0/flink-dist/target/flink-1.10.0-bin

4、测试

命令：./bin/flink run -m yarn-cluster -ynm test_wordcount ./examples/batch/WordCount.jar --input hdfs://cluster_name/tmp/words.txt

注：注意在hdfs上添加测试的words.txt

 

备注：编译时间视情况而定，一般时间不会太短。理论上本方法适用于cdh6.x(6.0，6.1，6.2，6.3)的版本