Doris-集群部署(四)

本文详细介绍了ApacheDoris0.15.0版本的集群部署过程,包括创建目录、修改文件权限、配置FE和BE节点、增加MySQLClient连接以及设置网络参数。着重强调了生产环境的最佳实践,如单独存储元数据和数据,以及调整Java堆内存和IP绑定等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

创建目录并拷贝编译后的文件

1)创建目录并拷贝编译后的文件
mkdir /opt/module/apache-doris-0.15.0
cp -r /opt/software/apache-doris-0.15.0-incubating-src/output /opt/module/apache-doris-0.15.0

2)修改可打开文件数(每个节点)(前面的'*'也需要复制)

sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

重启永久生效,也可以用 ulimit -n 65535 临时生效。

部署 FE 节点

1)创建 fe 元数据存储的目录
mkdir /opt/module/apache-doris-0.15.0/doris-meta
2)修改 fe 的配置文件
vim /opt/module/apache-doris-0.15.0/fe/conf/fe.conf
#配置文件中指定元数据路径:
meta_dir = /opt/module/apache-doris-0.15.0/doris-meta
#修改绑定 ip(每台机器修改成自己的 ip)
priority_networks = 192.168.8.101/24

注意:

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下,最好是单独的磁盘(如果有 SSD 最好)。

如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定,才能正确识别。

JAVA_OPTS 默认 java 最大堆内存为 4GB,建议生产环境调整至 8G 以上。

3)启动 hadoop1 的 FE

/opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon

配置 BE 节点

1)分发 BE
scp -r /opt/module/apache-doris-0.15.0/be hadoop2:/opt/module
scp -r /opt/module/apache-doris-0.15.0/be hadoop3:/opt/module
2)创建 BE 数据存放目录(每个节点)
mkdir /opt/module/apache-doris-0.15.0/doris-storage1
mkdir /opt/module/apache-doris-0.15.0/doris-storage2
3)修改 BE 的配置文件(每个节点)
vim /opt/module/apache-doris-0.15.0/be/conf/be.conf
#配置文件中指定数据存放路径:
storage_root_path = /opt/module/apache-doris-0.15.0/doris-storage1;/opt/module/apache-doris-0.15.0/doris-storage2
#修改绑定 ip(每台机器修改成自己的 ip)
priority_networks = 192.168.8.101/24

注意:

storage_root_path 默认在 be/storage 下,需要手动创建该目录。多个路径之间使用英文状态的分号;分隔(最后一个目录后不要加)。

可以通过路径区别存储目录的介质,HDD 或 SSD。可以添加容量限制在每个路径的末尾,通过英文状态逗号,隔开,如:

storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

说明:

/home/disk1/doris.HDD,50,表示存储限制为 50GB,HDD;
/home/disk2/doris.SSD,10,存储限制为 10GB,SSD;
/home/disk2/doris,存储限制为磁盘最大容量,默认为 HDD

如果机器有多个 IP, 比如内网外网, 虚拟机 docker 等, 需要进行 IP 绑定,才能正确识别。

在 FE 中添加所有 BE 节点

BE 节点需要先在 FE 中添加,才可加入集群。可以使用 mysql-client 连接到 FE。

1)安装 MySQL Client

(1)创建目录

mkdir /opt/software/mysql-client/

(2)上传相关以下三个 rpm 包到/opt/software/mysql-client/

mysql-community-client-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-5.7.28-1.el7.x86_64.rpm

(3)检查当前系统是否安装过 MySQL

sudo rpm -qa|grep mariadb
#如果存在,先卸载
sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server

(4)安装

rpm -ivh /opt/software/mysql-client/*
2)使用 MySQL Client 连接 FE
mysql -h hadoop1 -P 9030 -uroot
默认 root 无密码,通过以下命令修改 root 密码。
SET PASSWORD FOR 'root' = PASSWORD('000000');
3)添加 BE
ALTER SYSTEM ADD BACKEND "hadoop1:9050";
ALTER SYSTEM ADD BACKEND "hadoop2:9050";
ALTER SYSTEM ADD BACKEND "hadoop3:9050";
4)查看 BE 状态
SHOW PROC '/backends';

启动 BE

1)启动 BE(每个节点)

/opt/module/apache-doris-0.15.0/be/bin/start_be.sh --daemon

2)查看 BE 状态

mysql -h hadoop1 -P 9030 -uroot -p
SHOW PROC '/backends';

Alive 为 true 表示该 BE 节点存活。

END

目录评论

### 关于Apache Doris集群的安装和部署指南 #### 一、背景介绍 Apache Doris 是一种基于MPP架构的OLAP数据库,因其高效的数据查询能力和便捷的操作特性而受到广泛欢迎。为了帮助更多有兴趣了解或测试Doris的人士减少入门障碍,社区提供了三种不同的构建与安装方案供选择,并附带详细的文档和支持材料[^1]。 #### 二、准备工作 在开始之前,请确认已经准备好如下条件: - 支持Linux系统的服务器若干台; - 已经获取到官方发布的最新版Doris源码包或者是预编译好的二进制文件; - 对目标机器拥有管理员权限以便执行必要的配置更改操作。 #### 三、环境准备 对于那些可能需要频繁更换工作地点或是网络连接不稳定的情况下,建议采用NAT模式来设置虚拟机中的网卡,这样可以避免因为物理位置变化而导致IP地址冲突等问题的发生[^4]。 #### 、具体步骤 以下是简化后的安装流程概述: ##### 1. 下载软件包 前往官方网站下载页面找到适合自己平台版本的压缩包并解压至指定目录下。 ##### 2. 修改配置文件 编辑`conf/fe.conf` 和 `be/conf/be.conf`, 设置合适的参数值比如端口号, 日志级别等. ##### 3. 初始化元数据存储服务FE(Frontend) 启动前端节点前先初始化内部使用的Meta Store. ```bash ./bin/start_fe.sh --daemon=false --init=true ``` ##### 4. 启动BE(Backend)节点 依次开启各个后端计算单元,在每台主机上运行命令: ```bash ./bin/start_be.sh --daemon=false ``` ##### 5. 添加新加入的BE实例到集群中 登录任意一台已有的FE节点通过SQL语句完成注册新增加的服务实例。 ```sql ALTER SYSTEM ADD BACKEND "ip_address"; ``` ##### 6. 测试验证 最后可以通过简单的SELECT查询来进行功能性的检验,确保所有组件正常协作运作。 以上就是一套较为完整的针对初学者友好的Doris集群快速搭建方法论。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值