Ambari2.7.3自定义安装Ambari-Doris-Service

1.背景

通过Ambari，来安装和管理HDP集群上的Doris。
这个ambari doris stacks有3个角色，DORIS_FE\FE_Observer\DORIS_BE, doris包的名字是doris-0.14.0-release.tar.gz，树路径如下:

doris-0.14.0-release
├── be
│ ├── bin
│ │ ├── start_be.sh
│ │ └── stop_be.sh
│ ├── conf
│ │ ├── be.conf
│ │ └── odbcinst.ini
│ ├── lib
│ │ ├── meta_tool
│ │ └── palo_be
│ └── www
│     ├── ...
├── fe
│ ├── bin
│ │ ├── start_fe.sh
│ │ └── stop_fe.sh
│ ├── conf
│ │ └── fe.conf
│ ├── lib
│ │ ├── ...
│ ├── spark-dpp
│ │ └── spark-dpp-1.0.0-jar-with-dependencies.jar
│ └── webroot
│     └── static
│         ├── ...
├── hdfs_broker
│ ├── bin
│ │ ├── start_broker.sh
│ │ └── stop_broker.sh
│ ├── conf
│ │ ├── apache_hdfs_broker.conf
│ │ ├── hdfs-site.xml
│ │ └── log4j.properties
│ └── lib
│     ├── ...
│     └── ...
└── udf
    ├── include
    │ ├── uda_test_harness.h
    │ └── udf.h
    └── lib
        └── libDorisUdf.a

1.1 集群环境部署

1.1.1 Linux 操作系统

Linux 系统	版本需求
CentOS	CentOS Linux release 7.8.2003 (Core)

1.1.2 软件需求

软件	版本
Java	1.8 及以上
Java	1.8 及以上

1.1.3 节点角色分配

节点	角色
node1.bankbigdata.cn	FE_FOLLOWER, Broker
node2.bankbigdata.cn	BE,FE_OBSERVER, Broker
node3.bankbigdata.cn	BE, Broker
node4.bankbigdata.cn	BE, Broker

• 当然，Doris的性能与节点数量及配置正相关。在最少4台机器（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的情况下，依然可以平稳的运行 Doris。
• 如果 FE 和 BE 混部，需注意资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。
• （可选）FS_Broker 部署
  Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS 和百度云 BOS 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

请勿将DORIS_FE和FE_Observer安装在同一节点上

2.下载Ambari-Doris-Service

下载地址：https://github.com/xiaoxiaopan118/Ambari-Doris-Service
下载完成后，上传到服务器/opt/module目录

3.安装

3.1 更改项目路面名称

#进入到doris所在目录
cd /opt/module
#解压到当前目录
unzip -o  Ambari-Doris-Service
#更改项目名称为Doris
mv Ambari-Doris-Service DORIS

3.2 编辑 package/scripts/params.py

#查看hdp版本
hdp-select status hadoop-client | sed 's/hadoop-client - [0−9]\.[0−9].*/\1/'`
#修改版本与名称
cd /opt/module/Doris/package/scripts
#编辑params.py
vim params.py

#change the version and doris_filename as your true value. eg: version = '3.1.0.0-78'
#doris_filename = 'doris-0.14.0-release'

3.3 配置yum源

使用docker镜像环境编译Doris
doris 0.14.0 版本仍然使用apache/incubator-doris:build-env-1.2 编译

#1.下载docker镜像
$ docker pull apache/incubator-doris:build-env-1.2
#2.运行镜像
$ docker run -it -v /opt/local/.m2:/root/.m2 -v /opt/apache-doris-0.14.0-incubating-src/:/root/apache-doris-0.14.0-incubating-src/ apache/incubator-doris:build-env-1.2
#3.切换到 JDK 8

#In the docker image of build-env-1.3.1, both OpenJDK 8 and OpenJDK 11 are included, and OpenJDK 11 is used for compilation by default.

$ alternatives --set java java-1.8.0-openjdk.x86_64
$ alternatives --set javac java-1.8.0-openjdk.x86_64
$ export JAVA_HOME=/usr/lib/jvm/java-1.8.0
# 或JDK11
$ alternatives --set java java-11-openjdk.x86_64
$ alternatives --set javac java-11-openjdk.x86_64
$ export JAVA_HOME=/usr/lib/jvm/java-11
# 4.下载源码
$ wget https://dist.apache.org/repos/dist/dev/incubator/doris/0.14/0.14.0-rc06/apache-doris-0.14.0-incubating-src.tar.gz
# 5.解压
$ tar -xvf apache-doris-0.14.0-incubating-src.tar.gz
# 6.编译 Doris
$ cd ./apache-doris-0.14.0-incubating-src
# 编译过程有点长，耐性等待
$ sh build.sh

编译——broker

$ cd /opt/apache-doris-0.14.0-incubating-src/fs_brokers/apache_hdfs_broker
$ sh build.sh

将编译后的Doris拷贝到文件服务器目录下

#将编译后的文件压缩
cd apache-doris-0.14.0-incubating-src/output
tar-cvf  doris-0.14.0-release.tar.gz ./*
#或docker拷贝到本地
#docker container cp -a 容器id:docker文件路径 本地路径
#docker container cp -a :docker/apa

将打包好的doris-0.14.0-release.tar.gz文件上传到文件服务doris目录下

修改ambari.repo仓库源文件，追加Doris下载地址

#VERSION_NUMBER=2.7.3.0-139

[doris-0.14.0-release-repo-4]
name=doris-0.14.0-release-repo-4
baseurl=http://file.bankbigdata.cn/
path=/
enabled=1
gpgcheck=0


[Updates-ambari-2.7.3.0]
name=ambari-2.7.3.0 - Updates
baseurl=http://file.bankbigdata.cn/ambari/centos7/2.7.3.0-139/
gpgcheck=1
gpgkey=http://file.bankbigdata.cn/ambari/centos7/2.7.3.0-139/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

运行命令看doris是否可达

cat /etc/yum.repos.d/ambari.repo | grep "baseurl" | head -1 | awk -F '=' '{print $2"doris/' + doris_filename + '.tar.gz"}'

分发到其他服务器节点

scp -R /etc/yum.repos.d/ambari.repo root@node2.bankbigdata.cn:$PWD
scp -R /etc/yum.repos.d/ambari.repo root@node3.bankbigdata.cn:$PWD
scp -R /etc/yum.repos.d/ambari.repo root@node4.bankbigdata.cn:$PWD

#check your yum repos file. change it as your own download_url, before install check the download_url can used.
download_url = commands.getoutput( 'cat /etc/yum.repos.d/ambari-1.repo | grep "baseurl" | head -1 | awk -F '=' '{print $2"doris/' + doris_filename + '.tar.gz"}'' )

3.4 下载doris到ambaris-server指定目录

mv /opt/DORIS /var/lib/ambari-server/resources/common-services

3.5 重启ambari

ambari-server restart //in manager node 
ambari-agent restart //in all node

3.6 安装

Do not install DORIS_FE and FE_Observer in the same node. input doris root password at doris.fe.root.password property.

---

4.其他

参考链接：
https://github.com/xiaoxiaopan118/Ambari-Doris-Service
https://github.com/BalaBalaYi/Ambari-Redis-Service
https://github.com/Jaraxal/ambari-elasticsearch-service