Ambari 2.7.3新增组件1--Flink 1.10.0

目录

对接原理

下载ambari-flink-service包

制作flink源

安装

关于优化

    1）用户用户组创建优化，无需手动创建。

    2）下载优化。

     3）配置文件优化。

    4）实现flink的quicklinks，能在ambari平台上直接跳转至flinkweb。

总结

---

对接原理

    ambari有一套完整添加组件的流程，原生的组件一般通过界面配置设置后，后台会使用hdp的rpm安装，安装完成后会使用自定义的python脚本准备配置文件和启动等一系列操作。而对于自增组件，一般通过tar安装，然后通过自定义脚本启动。自定义脚本大致流程如下：

    1）创建用户组和用户名

     2）获取（下载）tar包，解压到安装目录

     3）根据配置参数生成配置文件

     4）启动（停止）组件

     5）通过ambari UI连接到组件UI操作

     以上就是一般的基本流程，当然还有一个重要的前置工作是了解一下原生的Flink安装。

下载ambari-flink-service包

yum install -y git
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`
git clone https://codechina.csdn.net/zfpigpig/ambari-flink.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLINK

制作flink源

   制作flink源主要分为：下载flink-1.10包、制作flink-shade和准备HDP源。

wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.12.tgz
wget https://archive.apache.org/dist/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz
tar -zxvf flink-shaded-10.0-src.tgz 
cd flink-shaded-10.0
mvn -T2C clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.1.1 -Dscala-2.12 -Drat.skip=true  
ls ./flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber/target/flink-shaded-hadoop-2-uber-3.1.1-10.0.jar
mkdir -p /var/www/html/HDP/centos7/3.0.1.0-187/flink/
cp flink-1.10.0-bin-scala_2.12.tgz flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar /var/www/html/HDP/centos7/3.0.1.0-187/flink/

    保证http://ambari-server/HDP/centos7/3.0.1.0-187/flink/可以访问

安装

  重启ambari-server。添加服务-->选择flink，直接一直下一步即可，无需任何配置。

关于优化

   本实践其实借鉴了其他博主的文章，本实践最主要的工作其实在优化上面。主要分为一下几点：

    1）用户用户组创建优化，无需手动创建。

     在 configuration/flink-env.xml增加适合版本用户用户组设置。

<property>
    <name>flink_user</name>
    <display-name>Flink User</display-name>
    <value>flink</value>
    <property-type>USER</property-type>
    <description>Flink User.</description>
    <value-attributes>
      <type>user</type>
      <overridable>false</overridable>
      <user-groups>
        <property>
          <type>cluster-env</type>
          <name>user_group</name>
        </property>
      </user-groups>
    </value-attributes>
    <on-ambari-upgrade add="true"/>
  </property>

    2）下载优化。

    自动寻找yum源的配置目录，自动拼接url完成下载。

 repo = default('/repositoryFile', None)
        base_url = ''
        for repository in CommandRepository(repo).items:
          if repository.repo_name == 'HDP':
            base_url = repository.base_url
            break
        download_url = base_url+params.flink_download_url
        Execute('wget '+download_url+' -O '+params.temp_file+' -a '  + params.flink_log_file, user=params.flink_user)

     3）配置文件优化。

      通过模板生成flink-conf.yaml，并实现java_home的自设置，在后期如果要增加参数也很方便。

configurations = params.config['configurations']['flink-ambari-config']
    File(format("{conf_dir}/flink-conf.yaml"),
             content=Template("flink.yaml.j2", configurations=configurations),
             owner=params.flink_user,
             group=params.flink_group
             )

    4）实现flink的quicklinks，能在ambari平台上直接跳转至flinkweb。

    这里面有一个难点是当flink on yarn时，weburl每次启动都都会变化。笔者用web的跳转解决了此问题。在yarn的web中固定一个flink-index.html页面，里面本质就是一个跳转，当启动flink服务完成后，会通过yarn命令获取weburl并写入此页面，从而实现页面的访问。

总结

     虽然基本完成flink极简安装，但是其实还是有不少地方可以优化。如果要做成产品的一部分，还可以在web页面优化，支持flink本地模式等方面再精进一下。