Doris编译安装及环境准备

目录

⼀、编译

⼆、安装

---

⼀、编译

1.Docker 准备

   参照菜鸟教程安装在本地安装，直接下载版本的docker。

2.下载 Docker 镜像

docker pull apachedoris/doris-dev:build-env

下载的官⽅提供的 doris 的编译环境,需要按照 Doris 版本运⾏对应命令下载对应 docker 镜像.

运⾏如下命令检查下载的docker镜像 

docker images

3.Doris源码下载

点击“下载”>>选择需要的版本现在我们下载 0.11.0 版本的源码，并在本地解压.

4.挂载编译 

5.编译后压缩 

编译后压缩zip包，并复制到本地.

⼆、安装

1、部署

部署Doris,请在 /home/hadoop/ 创建 doris ⽬录，解压到 /home/hadoop/doris ⽬录.

tar -zxvf ./datas/apache-doris-0.11.0-incubating-src.tar.gz -C ../doris

2. 配置FE

     ①、配置⽂件为 conf/fe.conf 。

其中注意： meta_dir ：元数据存放位置。默认在 fe/doris-meta/ 下。需⼿动创建该⽬录。

mkdir doris-meta

      ②、 fe.conf 中 JAVA_OPTS 默认 java 最⼤堆内存为 2GB ，建议⽣产环境调整⾄ 8G 以上。

       ③、在fe/conf/fe.conf中修改端⼝，建议将 8080 以下的端⼝（ 8080 以下基本为系统端⼝对外不可见）都改为 8080 以上的端⼝或者 直接在原有端⼝的基础上在端⼝前加 1 ，如 8030 改为 18030

        ④、设置⽹络安全组将 fe/conf/fe.conf 中的 priority_networks=10.1.3.0/24 ，改为 priority_networks=hostname/24

        ⑤、修改fe.conf⽂件中元数据⽬录

 

3. 启动FE

sh bin/start_fe.sh --daemon

FE 进程启动进⼊后台执⾏。⽇志默认存放在 fe/log/ ⽬录下。如启动失败，可以通过查看 fe/log/fe.log 或者 fe/log/fe.out 查看错误信息。

4. 配置BE

     ①、配置 be/conf/be.conf

     在 be/conf/be.conf 中修改端⼝，建议将 8080 以下的端⼝（ 8080 以下基本为系统端⼝对外不可见）都改为 8080 以上的端⼝或者直接在 原有端⼝的基础上在端⼝前加 1 ，如 8030 改为 18030

     ②、设置⽹络安全组将 be/conf/be.conf 中的 priority_networks=10.1.3.0/24 ，改为 priority_networks=hostname/24

      ③、修改 be/conf/be.conf 。主要是配置 storage_root_path ：数据存放⽬录。默认在 be/storage 下，需要⼿动创建该⽬录。多个路径之间 使⽤ ; 分隔（最后⼀个⽬录后不要加 ;）。

       ④、将 mysql 中的执⾏脚本 mysql 软连接到 $DORIS_HOME/ ⽬录下执⾏.

#映射mysql

30:ln -s /home/hadoop/mysql/current/bin/mysql /home/hadoop/doris/

31-35:ln -s /home/hadoop/mysql/mysql/bin/mysql /home/hadoop/doris/

#进⼊mysql添加⾓⾊，host为leaderhost，port为 fe/conf/fe.conf 中的 query_port；

./mysql -h host -P port -uroot
./mysql -h 172.16.0.35 -P 9030 -uroot

#添加BACKEND，ALTER SYSTEM ADD BACKEND "host:port";其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port。

ALTER SYSTEM ADD BACKEND "172.16.0.30:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.31:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.32:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.33:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.34:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.35:9050";

#添加OBSERVER，ALTER SYSTEM ADD FOLLOWER "host:port";或ALTER SYSTEM ADD OBSERVER "host:port";其中 host 为 Follower 或 Observer 所在
节点 ip，port 为其配置⽂件 fe.conf 中的 edit_log_port。

ALTER SYSTEM ADD OBSERVER "172.16.0.34:9010";
ALTER SYSTEM ADD FOLLOWER "172.16.0.33:9010";

#在Follower节点和Observer节点启动，host为leaderhost，port 为其配置⽂件 fe.conf 中的 edit_log_port。

./bin/start_fe.sh --helper host:port --daemon
#可以查看当前已加⼊集群的 FE 及其对应⾓⾊。

SHOW PROC ‘/frontends’; 

5、启动be

#启动backend节点

sh bin/start_be.sh --daemon

#查看BE
SHOW PROC ‘/backend’; 

6 、编译broker

笔者⽤到的版本可能不太稳定，需要单独编译broker.

      ①、编译 broker ，在 doris 源码包中找到 fs_broker ⽬录，$Doris_release_dir/fs_broker/apache_hdfs_broker 下执⾏

/build.sh

      ②、编译完成后将 $Doris_release_dir/fs_broker/apache_hdfs_broker 中的 output ⽬录下安装包拷贝到本地并上传到各节点，按照如上理论 配置即可

      ③、需要配置 apache_hdfs_broker.conf ⽂件中的 broker_ipc_port 配置

7、在mysql中添加⾓⾊

#doris/be/be/bin执⾏
./mysql -h 172.16.0.35 -P 9030 -uroot

#添加broker信息

ALTER SYSTEM ADD BROKER broker_33_34_35 "172.16.0.33:18000","172.16.0.34:18000","172.16.0.35:18000";

ALTER SYSTEM ADD BROKER broker_33 "172.16.0.33:18000";

ALTER SYSTEM ADD BROKER broker_34 "172.16.0.34:18000";

ALTER SYSTEM ADD BROKER broker_35 "172.16.0.35:18000";

#其中 host 为 Broker 所在节点 ip；port 为 Broker 配置⽂件中的 broker_ipc_port。

8、启动broker

#各broker节点启动

sh bin/start_broker.sh --daemon

写在最后:以上仅为⼤家提供经验。主要教程建议以官⽹为主。