集群部署从dorisdb到starrocks详细过程

一、环境初始化

    1、关闭swapoff -a

    2、设置java路径

    3、初始化盘

    4、准备软件包

二、下载包(从1.19后dorisdb改名为starrocks)，解压文件

     目前最新版本下载路径：https://www.starrocks.com/zh-CN/download/request-download/4

    ##文件名为4,解压命令:tar  -zxvf 4

三、安装部署

    1、启动第一个节点fe

           sh ./bin/start_fe.sh --daemon             

    2、启动其他节点的fe

               sh ./bin/start_fe.sh --helper 第一个节点的ip:9010 --daemon

           1、通过mysql客户端登陆,默认密码为空(登陆为第一个启动的节点)：mysql -h12.16.0.11 -P 9030 -uroot

           2、其他节点加入集群管理操作

                    添加:alter system add follower "host:9010"   ##edit_log_port
                    删除:alter system drop follower "host:9010"  ##edit_log_port               

    3、启动be

          #sh bin/start_be.sh --daemon

          管理be

               添加节点：ALTER SYSTEM ADD BACKEND "host:port";

               删除节点：

                    alter system decommission backend "host:port"  (优雅删除)

                    alter system drop backend "host:port"   (暴力删除)

                    直接删除提示异常,对于不同版本：> alter system dropp backend "12.16.0.4:9050"         

    4、集群验证

          查看fe添加情况:SHOW PROC '/frontends'；

          查看be添加情况:SHOW PROC '/backends'；

   正常启动的集群情况：     

    5、集群服务托管选择,通过systemctl来管理开机启动,OOM等自动恢复

        1、修改start_fe.sh脚本，添加java_home信息:/home/dorisdb/fe/bin/start_fe.sh

              export JAVA_HOME=/usr/local/jdk1.8.0_191

              export PATH=$JAVA_HOME/bin:$PATH              

               #sed -i '/from_conf/i\export JAVA_HOME=/home/jdk1.8.0_91' start_fe.sh

                #sed -i '/from_conf/i\export PATH=$JAVA_HOME/bin:$PATH' start_fe.sh

2、修改stop_fe.sh脚本，把原表的内容去掉即可

          set -e 

          sudo systemctl stop dorisdb-9030.service

3、在/etc/systemd/system/下添加服务文件 ，其他服务节点类似操作        

[Unit]
Description=fe-9030 service
After=syslog.target network.target remote-fs.target nss-lookup.target
[Service]
LimitNOFILE=1000000
#LimitCORE=infinity
LimitSTACK=10485760
User=root
ExecStart=/home/dorisdb/fe/bin/start_fe.sh
Restart=always
RestartSec=15s
[Install]
WantedBy=multi-user.target

4、系统服务注册及相关配置

       #systemctl daemon-reload

       #systemctl enable dorisdb.service

      #systemctl start dorisdb.service

      #systemctl status dorisdb.service

      #systemctl restart dorisdb.service

fe参考配置：

LOG_DIR = /data1/dorisdb/fe/log
DATE = "$(date +%Y%m%d-%H%M%S)"
JAVA_OPTS="-Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:/data1/dorisdb/fe/log/fe.gc.log.$DATE"

JAVA_OPTS_FOR_JDK_9="-Xmx8192m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:/data1/dorisdb/fe/log/fe.gc.log.$DATE:time"


sys_log_level = INFO

meta_dir = /data1/dorisdb/fe/doris-meta

http_port = 18030
rpc_port = 19020
query_port = 19030
edit_log_port = 19010
mysql_service_nio_enabled = true

frontend_address = 10.1.1.25
sys_log_dir = /data1/dorisdb/fe/log
audit_log_dir = /data1/dorisdb/fe/log
audit_log_modules = slow_query, query
load_parallel_instance_num=7
enable_statistic_collect = true

be参考配置：

sys_log_level = INFO

be_port = 19060
webserver_port = 18040
heartbeat_service_port = 19050
brpc_port = 18060

priority_networks = 10.101.1.20/24

storage_root_path = /data1/dorisdb/be/storage,medium:SSD;/data1/dorisdb/be/storage_hdd,medium:HDD
max_cumulative_compaction_num_singleton_deltas=100

sys_log_dir = /data1/dorisdb/be/log
streaming_load_max_mb = 16000
default_rowset_type = beta

    be数据存储根据实际来划分，具体看配置情况

注意点：

              1、初始化集群时候第一个节点启动后，其他节点启动必须使用--helper指向其他点，借助已经启动的FE节点(master/follower)来扩容新的节点，不能指向自己

              2、节点多IP情况，或者存在服务认为是特殊的IP地址时候，默认使用priority_networks绑定FE的IP 可能出问题,使用frontend_address =1.1.1.20

              3、meta_dir路径配置需要提前创建好，建议需要配置的路径信息都提前规划好(meta_dir数据非常重要的)

              4、注意集群服务器的时间问题，差异大会导致新增的FE无法启动加入集群，修复方法： /usr/sbin/ntpdate   1.1.1.20(此服务器时间作为参考)

             5、jkd版本1.8+

             6、节点部署be多实例端口，不可以使用已经启动过的be文件包，需要单独分开

             7、建议每个服务(be/fe)的配置指定好相关路径情况，默认情况会把启动服务路径当数据目录等问题

             8、从dorisdb换成starrocks版本，替换bin和lib文件目录即可，同时需要把监控的json文件含有doris 改成starrocks

                ********先be--->fe(若有ob先有替换，在follower最后master)