linux、centos-doris集群部署_基于doris-manager

于 2025-05-23 15:55:19 发布
阅读量709 收藏 10
点赞数 7
分类专栏： linux环境 文章标签： linux centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38425660/article/details/148168537
版权

基于DorisManager的部署

一、离线包准备

doris-manager

doris-manager-24.3.1-x64-bin.tar.gz
下载地址：https://selectdb.com/download/enterprise#manager

apache-doris安装包

apache-doris-2.1.8.1-bin-x64.tar.gz
下载地址：https://doris.apache.org/zh-CN/download

二、 部署 Doris Manager Web 服务

1.1 手工部署 Doris Manager Web 服务组件（推荐部署在fe节点上）

# 1. 解压
tar -zvxf doris-manager-24.3.1-x64-bin.tar.gz -C /opt/software
cd /opt/software
mv doris-manager-24.3.1-x64-bin doris-manager
 
# 2. 修改配置文件
vim /opt/software/doris-manager/webserver/conf/manager.conf
WEBUI_JAVA_OPTS=-Xmx4096m -Xms4096m
 
# 3. Doirs manager 信息保存在MySQL中
DB_TYPE=mysql
DB_HOST=数据库ip #建议与神兵的mysql共用一个
DB_PORT=3306
DB_DBNAME=doris_manager
DB_USER=flowai
DB_PASS=Flowai@2023

# 4. 启动
cd /opt/software/doris-manager/webserver
bash bin/start.sh
 
# 5. 登录验证: 
http://{节点IP}:8004

1.2 通过 Web 服务自动部署服务组件

1.2.1 初始化 Doris Manager 管理员账户

第一次访问 Web 服务，进入初始化用户页面，创建第一个 Doris Manager 管理员用户

# 创建用户密码
admin/admin@2024
1.2.2 配置服务组件部署信息

创建 Doris Manager 管理员用户后，点击下一步进入服务组件配置页面，填写配置信息。如图，将其中4处进行修改

#1.Grafana端口：
将端口由3000改为3001，防止当前端口与其他服务的Grafana冲突
#2.Propetheus端口：
将端口由9090改为9091，防止当前端口与其他服务的Protheus冲突
#3.邮件告警：
关闭邮件告警
#4.Doris 本地安装包路：
/opt/software/doris_pkg/doris
#5.Doris Manager本地安装包路：
/opt/software/doris_pkg/doris_manager

在这里插入图片描述

配置完成后，其中安装包配置路径中要求目录存在且有访问权限：

# 登录manager部署节点
mkdir -p /opt/software/doris_pkg/doris
mkdir -p /opt/software/doris_pkg/doris_manager
 
# 将doris安装包添加到部署节点中（部署几个节点，就要添加到对应的节点上）
cp apache-doris-2.1.8.1-bin-x64.tar.gz /opt/software/doris_pkg/doris/

上述完成后，点击 启动 Doris Manager，提示正在启动 Doris Manager。启动成功后，提示用户进入 Doris Manager

三、部署 Doris Manager Agent

1.1 安装Agent

将需要安装Doris服务的节点或包含Doris服务的节点（fe节点和be节点）添加Agent：

# 1. 各节点（包括manager web节点，如果该节点也需要添加doris服务）基于manager web节点下载agent（配置几个节点，就要在几个节点上进行以下操作）
wget http://{WEB节点IP}:8004/api/download/manager-agent-24.3.1-x64-bin.tar.gz ###或用已提供的包复制到对应的节点设备上
 
# 2. 解压
tar -xvf manager-agent-24.3.1-x64-bin.tar.gz -C /opt/software
cd /opt/software
mv manager-agent-24.3.1-x64-bin manager-agent
 
# 3. 启动
cd manager-agent
bash bin/start.sh

1.2 配置系统环境

在各个节点（主要是要部署be的节点，但fe节点也建议一并配置）上执行以下命令：

# 1. 设置系统最大打开文件句柄数
grep 'soft nofile' /etc/security/limits.conf || echo '* soft nofile 600000' | sudo tee -a /etc/security/limits.conf
grep 'hard nofile' /etc/security/limits.conf || echo '* hard nofile 600000' | sudo tee -a /etc/security/limits.conf
sudo sysctl -p
 
# 2. 关闭交换内存
swapoff -a
sudo sed -i 's/^UUID=.*swap.*/#&/' /etc/fstab
 
# 3. 虚拟内存增大
-- 临时方法
sudo sysctl -w vm.max_map_count=2000000  
# 4. 临时关闭透明大页面
echo madvise | sudo tee -a /sys/kernel/mm/transparent_hugepage/enabled
# 5. 编辑下述文件，永久生效,需重启机器
vim /etc/default/grub
# 6. 找到GRUB_CMDLINE_LINUX 字段所在一行，在末尾添加 transparent_hugepage=madvise
GRUB_CMDLINE_LINUX="...其他参数... transparent_hugepage=madvise"
##7. 执行下面命令##或者执行：(grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg)
grub2-mkconfig -o /boot/grub2/grub.cfg

# 8. 
sudo vim /etc/sysctl.conf

vm.swappiness = 0
vm.overcommit_memory = 1
net.ipv4.tcp_abort_on_overflow = 1
net.core.somaxconn = 1024
vm.max_map_count=2000000

sudo sysctl -p

# 9. 
sudo swapoff -a
#10. 执行完以上命令后需要重启设备
reboot

四、创建Doris集群

如果为首次部署Doris，那就创建Doris集群，否则就是接管Doris集群

1.1 部署集群

##1.环境配置
a.集群名称：flowai4_cluster
b.部署版本：下拉选择对应doris版本
c.数据库root用户密码：123456Doris_
##2.主机注册
a.通过IP添加对应节点，可单个添加，也可批量添加
b.如果Agent检查状态失败，则回到第二节重新部署对应节点的Agent
##3.FE配置（以下配置需修改，其他默认即可）
a.可选择多个FE节点，建议选多个FOLLOWER(raft协议，自动选主)，如果节点够多，至少一个OBSERVER
b. 端口：
   HTTPPort: 8031
   QueryPort: 9030（默认）
   RPCPort: 9020（默认）
   EditlogPort: 9010（默认）
c.目录：
  部署目录：/opt/software/apache-doris
##4.BE配置（以下配置需修改，其他默认即可）
a.可选择多个BE节点
b. 端口：
   BEPort: 9060（默认）
   WebserverPort: 8041
   HeartbeatPort: 9051
   BRPCPort: 8060（默认）
c.目录：
  部署目录：/opt/software/apache-doris
  #数据存储目录：根据data的磁盘情况，添加多块磁盘：/data/data/doris（保证每个磁盘权限） 
  sudo mkdir -p /data/data1/doris && sudo chown -R work:work /data/data1/doris
d.可能提示机器未关闭透明大页面，根据临时方案关闭即可。
##5.其他配置
a.开启自动拉起
b.勾选：表名大小写敏感

上述配置完成，点击部署集群即可。此时等待完成。

如果fe有一个节点启动异常需要重启时，需要在对应的节点设备上执行rm -rf fe_meta/*

注意：三台设备的时间要一致

1.2 初始化服务配置

集群部署成功后，选择进入集群，此时可首页直接跳转到对应集群的总览页面。

访问地址为 http://{DorisManagerHost}:8004

如图点击右侧三个点 → 参数配置：

在这里插入图片描述

勾选所有FE节点，编辑FE参数，在末尾添加以下信息，编辑完成后滚动重启即可：

# 修改gc log的格式及保留文件大小和个数
JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx16384m -XX:+UnlockExperimentalVMOptions -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$LOG_DIR/fe.gc.log -Dlog4j2.formatMsgNoLookups=true -XX:GCLogFileSize=100M -XX:NumberOfGCLogFiles=10 -XX:+UseGCLogFileRotation"
##注意：上面是一行，不能分行
 
thrift_server_max_worker_threads = 16384
remote_fragment_exec_timeout_ms = 300000
enable_outfile_to_local = true
max_running_txn_num_per_db = 50000
stream_load_default_timeout_second = 43200
expr_children_limit = 20000
# fe及审计日志大小100m,超过该值就会自动切分，最多保留10个文件。
log_roll_size_mb = 100
# 审计日志默认保留90个文件，而不是10
audit_log_roll_num = 10 
# 审计日志默认保留30d
audit_log_delete_age = 1d
sys_log_delete_age = 1d

勾选所有BE节点，编辑BE配置，在末尾添加一下信息，编辑完成后滚动重启即可：

be_service_threads=256
sys_log_roll_num=50
thrift_connect_timeout_seconds=60
fragment_pool_thread_num_max=4096
fragment_pool_queue_size=8192
# string类型字符串大小最大2G,默认1M,调大到10M,太大影响性能
string_type_length_soft_limit_bytes=10485760
qe_max_connection=5000

五、 Doris集群BE扩容

1、设备环境准备

1.1新设备的磁盘和内存，最好与已部署节点的保持一致

2、新设备的agent服务安装与启动(通过下载脚本自动化完成)

wget http://192.168.1.181:8004/api/download/deploy.sh -O deploy_agent.sh && chmod +x deploy_agent.sh && ./deploy_agent.sh 

##其中192.168.1.181是doris manager的ip。

3、如果上面的可以执行，请忽略下面的内容。如果通过上面的方式无法下载，请通过下面的流程执行

在之前部署过的设备上把manager-agent-24.3.1-x64-bin.tar.gz复制到新设备上
##1、解压
tar -xvf manager-agent-24.3.1-x64-bin.tar.gz -C /opt/software
cd /opt/software
mv manager-agent-24.3.1-x64-bin manager-agent
 
##2、启动
cd manager-agent
bash bin/start.sh

4、doris安装包导入到指定目录下

##1 创建对应路径 
mkdir -p /opt/software/doris_pkg/doris
##2 doris包导入上面路径
cp apache-doris-2.1.8.1-bin-x64.tar.gz /opt/software/doris_pkg/doris/

5、配置系统环境

# 1. 设置系统最大打开文件句柄数
grep 'soft nofile' /etc/security/limits.conf || echo '* soft nofile 600000' | sudo tee -a /etc/security/limits.conf
grep 'hard nofile' /etc/security/limits.conf || echo '* hard nofile 600000' | sudo tee -a /etc/security/limits.conf
sudo sysctl -p
 
# 2. 关闭交换内存
swapoff -a
sudo sed -i 's/^UUID=.*swap.*/#&/' /etc/fstab
 
# 3. 虚拟内存增大
-- 临时方法
sudo sysctl -w vm.max_map_count=2000000  
# 4. 临时关闭透明大页面
echo madvise | sudo tee -a /sys/kernel/mm/transparent_hugepage/enabled
# 5. 编辑下述文件，永久生效,需重启机器
vim /etc/default/grub
# 6. 找到GRUB_CMDLINE_LINUX 字段所在一行，在末尾添加 transparent_hugepage=madvise
GRUB_CMDLINE_LINUX="...其他参数... transparent_hugepage=madvise"
##7. 执行##或者执行：(grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg)
grub2-mkconfig -o /boot/grub2/grub.cfg

# 8. 
sudo vim /etc/sysctl.conf

vm.swappiness = 0
vm.overcommit_memory = 1
net.ipv4.tcp_abort_on_overflow = 1
net.core.somaxconn = 1024
vm.max_map_count=2000000

sudo sysctl -p

# 9. 
sudo swapoff -a
#10. 执行完以上命令后需要重启设备
reboot

6、在doris-manager中进行扩容

6.1选择FE扩容或者BE扩容
在这里插入图片描述

6.2 点击添加节点
在这里插入图片描述

6.3 选择添加新增的主机
在这里插入图片描述

6.4 查看配置信息（要与已部署的节点配置一致）
在这里插入图片描述

6.5 点击确认按钮，进行扩容
在这里插入图片描述

6.6 检查是否扩容成功(数据存储目录是否会有数据写入)

cd  /data/data1/ 
du -sh
Doris Manager集群的工具，运维更顺畅
IT邦德
11-01 3196
Cluster Manager for Apache Doris（以下简称 Doris Manager）是 SelectDB 推出的管理运维 Apache Doris、SelectDB Enterprise 集群的工具。
【Doris】Prometheus+Grafana监控Doris
m0_54252387的博客
07-19 4712
DorisDB提供两种监控报警的方案，第一种是使用内置的DorisManager，其自带的Agent从各个Host采集监控信息上报到Center Service然后做可视化展示，也提供了邮件和Webhook的方式发送报警通知。但是如果用户为了二次开发需求，需要自己搭建部署监控服务，也可以使用开源的Prometheus+Grafana的方案，DorisDB提供了兼容Prometheus的信息采集接口，可以通过直接链接BE/FE的HTTP端口来获取集群的监控信息。如果采购DorisDB企业版，则提供DorisM
dorismanage安装部署doris
weixin_44970289的博客
02-27 542
dorismanage安装部署doris
Doris部署生产集群最低要求的部署方案
最新发布
主要写大数据集群一线运维和学习工作经验
04-16 1523
Doris部署生产集群最低要求的部署方案
Doris集群管理工具Doris Manager安装使用
core815的专栏
06-13 6362
背景：Doris集群管理、监控相对复杂，就想着有没有免费的、好用的管理工具，就发现了Cluster Manager，给大家分享一下。
Doris Cluster Manager 安装部署及使用
weixin_44378305的博客
03-28 2935
Cluster Manager for Apache Doris（简称 Doris Manager）是 Doris开发团队推出的管理运维 Apache Doris集群的工具，完全兼容Doris，可实时监控各项指标。Doris Manager作为一个专门针对Doris的运维监控软件，对Doris百分百兼容，功能多多，版本稳定且迭代较快，各种功能还得自己上手实践才能熟练运用。
DorisManager使用
someInNeed的博客
09-20 895
9、修复缩容失败后选择修改配置，状态显示未知状态，概览页却是 Running 状态的问题。10、修复缩容 manager 上显示活跃实际是非 Alive 的 BE 节点失败的问题。20、修复新建集群状态不正确的问题（集群创建为创建失败，任务状态为执行中）4、修复被托管的集群升级的时候会报错找不到 JDK 的问题。8、修复 File cache 配置的单位不正确的问题。18、修复节点显示无效状态但实际是正常状态的问题。14、修复托管的集群参数配置修改未成功的问题。
Doris单机部署——2.0.1.1版本
雷神乐乐的博客
11-26 4413
Doris单机部署——2.0.1.1版本
2024年大数据最新Doris使用总结_doris 客户端工具
2401_84181340的博客
05-02 1257
Doris的系统架构组成主要有：BackEnd(后端节点)，简称BE。FrontEnd（前端节点），简称FE。bdbje(BerkekeyDB Java Edition)，负责元数据操作日志的持久化、FE 高可用等功能。
Doris12版安装编译部署(docker编译)
qq_45997096的博客
07-05 1335
Doris安装编译部署(docker编译) java8以上的前提下 docker安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun **安装所需的软件包。**yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2。 $ sudo yum install -y yum-util
kind部署k8s安装doris operator
堂堂百星王者
01-23 901
环境为windows11，并开启wsl，使用应用商店的子系统 Ubuntu 20.04.6TLS。
Apache Doris
07-20
### Apache Doris 知识点详解 #### 一、Apache Doris 概述 - **起源与发展**：Apache Doris 最初由百度大数据部门研发，最初名为百度Palo。2018年，该项目被贡献至Apache软件基金会，并更名为Apache Doris。目前，...
【大数据系列】一、Apache Doris集群部署
qq_54375572的博客
11-26 2872
Apache Doris是一款实时分析性数据库，同样是MPP（Massively Parallel Processing，即大规模并行处理）类型，本文章主要是从0到1搭建Doris数据库
Doris集群安装部署
Python Golang
05-25 2238
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris集群的安装部署
Xlucas的博客
04-16 2914
该文档主要介绍了部署 Doris 所需软硬件环境、建议的部署方式、集群扩容缩容，以及集群搭建到运行过程中的常见问题。
Doris集群环境搭建
Learning_xzj的博客
10-18 4493
首页 - Apache DorisJava语言开发，存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果。C++语言开发，Doris 系统的计算和存储节点，根据FE生成的物理执行计划，然后进行查询（分布式，多节点并行执行查询，统一汇总），同时BE还会将数据存储为多副本。BrokerBroker 为一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括HDFS，S3，BOS等。Doris端口列表Doris镜像版本与编译环境对应关系。
Doris集群安装部署（1.2.4.1 release）
eagle89的专栏
09-01 1357
Doris集群安装部署（1.2.4.1 release）
Doris--基础--2.4--部署--集群部署
zhou920786312的博客
03-05 389
主机名操作系统版本IPCPU内存硬盘node01Centos/7.98C8G20Gnode02Centos/7.98C8G20Gnode03Centos/7.98C8G20G。
应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设
锋哥聊DORIS数仓
07-08 1855
作者｜同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台，前身是同程金服，正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景，坚持以科技的力量，赋能我国旅游产业。目前，同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块，累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类：图1.2 业务场景-业务需求综合以上业务需求，我们进行了系统架构建设。图2.1 架构演变-架构1.0架构1.0 是前几年非常流行的以 SteamS
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值