Doris 1.1.5集群部署

---

一、前置环境

1.1、虚拟机环境

1、root用户修改文件句柄：

编辑文件：vi /etc/security/limits.conf
添加内容：
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

2、root用户修改进程VMA的数量：

编辑文件：vi /etc/sysctl.conf
添加内容：vm.max_map_count=2000000

1.2、安装JDK

参考：https://blog.csdn.net/qq_41924766/article/details/117564382

1.3、安装MYSQL

参考：https://blog.csdn.net/qq_41924766/article/details/117773099

二、部署规划

三、部署

3.1、Doris下载

下载地址：https://doris.apache.org/zh-CN/download

3.2、Doris部署

3.2.1、新建文件夹

1、新建Doris文件夹，存放解压文件:

mkdir -p /opt/module/doris

3.2.2、解压&&分发

1、解压BE：

tar -zxvf apache-doris-be-1.1.5-bin-x86_64.tar.gz -C /opt/module/doris/

2、解压FE：

tar -zxvf apache-doris-fe-1.1.5-bin.tar.gz -C /opt/module/doris/

3、分发文件：（分发脚本参考前面博客）

xsync /opt/module/doris

3.3.3、配置FE

1、修改102配置文件：vi /opt/module/doris/fe/conf/fe.conf

2、启动hadoop102的FE：

/opt/module/doris/fe/bin/start_fe.sh --daemon

3、jps命令查看：

2297 PaloFe

4、Web页面查看：

http://hadoop102:8030/

3.3.4、配置BE

1、在安装Mysql的机器上执行，没有密码，直接回车

mysql -h hadoop102 -P 9030 -uroot -p

2、设置root密码

SET PASSWORD FOR 'root' = PASSWORD('000000');

3、Mysql查看BE

show proc '/backends';

4、Mysql添加BE

ALTER SYSTEM ADD BACKEND "hadoop102:9050";
ALTER SYSTEM ADD BACKEND "hadoop103:9050";
ALTER SYSTEM ADD BACKEND "hadoop104:9050";

5、配置BE

3台机器都需配置
1、新建文件夹：/opt/module/doris/be/storage/doris1
2、新建文件夹：/opt/module/doris/be/storage/doris2
3、修改配置文件：vi /opt/module/doris/be/conf/be.conf
配置如下图：注意每台机器ip地址要更换为对应机器ip

6、启动3台机器的BE

/opt/module/doris/be/bin/start_be.sh --daemon

7、Mysql再次查看

show proc '/backends';

8、Web查看：

记得上面修改的密码，退出登录后需要输入密码

3.3.5、配置BROKER

1、Mysql命令行查看broker

show proc '/brokers';

2、配置broker

不需要配置

3、启动3台机器broker

/opt/module/doris/fe/apache_hdfs_broker/bin/start_broker.sh --daemon

4、Mysql命令行添加broker

ALTER SYSTEM ADD BROKER broker_name "hadoop102:8000";
ALTER SYSTEM ADD BROKER broker_name "hadoop103:8000";
ALTER SYSTEM ADD BROKER broker_name "hadoop104:8000";

5、再次查看broker

6、Web查看

3.3.6、FE扩容

1、说明

目前只添加了一个FE节点，且默认是LEADER
现在开始扩容FOLLOWER和OBSERVER节点

2、修改103和104的FE配置文件

配置103和104机器的FE
编辑：vi /opt/module/doris/fe/conf/fe.conf
具体配置如下，记得将ip地址替换为对应机器的ip

3、Mysql命令行添加FE

1、103为FOLLOWER 
ALTER SYSTEM ADD FOLLOWER "hadoop103:9010";

2、104为OBSERVER 
ALTER SYSTEM ADD OBSERVER "hadoop104:9010";

4、启动103和104的FE

启动和之前不同，需要需要加--helper
/opt/module/doris/fe/bin/start_fe.sh  --helper hadoop102:9010 --daemon
/opt/module/doris/fe/bin/start_fe.sh  --helper hadoop102:9010 --daemon

5、Mysql命令行查看

show proc '/frontends';

四、总结

本次配置FE是通过扩容的方式添加的，配置很简单，除了FE的扩容外，还有BE和BROKER的扩容和缩容，具体相关命令如下：

1、FE扩缩容

扩容使用ADD，缩容使用DROP
ALTER SYSTEM DROP OBSERVER "hadoop105:9010";
ALTER SYSTEM DROP FOLLOWER "hadoop105:9010";

2、BE扩缩容

扩容使用ADD，缩容使用DROP(不推荐)或者DECOMMISSION (推荐)
ALTER SYSTEM DROP BACKEND "hadoop105:9095";
ALTER SYSTEM DECOMMISSION BACKEND "hadoop105:9095";

3、BROKER扩缩容

扩容使用ADD，缩容使用DROP
ALTER SYSTEM DROP BROKER broker_name "hadoop105:8000";