Doris-1.2.3 详细安装教程

Leo⁵

已于 2023-12-22 12:57:04 修改

阅读量1.6k

点赞数 25

分类专栏： Doris 文章标签：数据库服务器

于 2023-12-21 23:58:48 首次发布

本文链接：https://blog.csdn.net/qq_52967477/article/details/135142915

版权

Doris 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

1. 二进制包下载

可以下载源码自己编译，这里我使用官网已经编译好的二进制包

1.1 下载

下载链接：https://doris.apache.org/zh-CN/download
注意：自己选择自己需要的版本即可

1.2 选择下载包

查看Linux的服务器CPU是否支持avx2指令集

cat /proc/cpuinfo

经过查看我所安装的服务器是支持avx2指令集，我这里就下载支持avx2指令集的文件

1.2.1 BE下载

如果不能本地上传服务器，可以直接在服务器上下载

BE（Backend）：负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

cd /opt/software
# 将源码包放在software目录下
wget https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/apache-doris-be-1.2.3-bin-x86_64.tar.xz

1.2.2 FE下载

FE（Frontend）：存储、维护集群元数据；负责接收、解析查询请求，规划查询计划，调度查询执行，返回查询结果。
主要有三个角色：
（1）Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务。
（2）Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。

wget https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/apache-doris-fe-1.2.3-bin-x86_64.tar.xz

1.2.3 安装 Java UDF 函数

说明：因为从 1.2 版本开始支持 Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则启动be会失败。

wget https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz

2. 安装部署

2.1 文件归一

将FE、BE、依赖放到同一个文件内，方便安装和后期管理，当然你也可以不用这样做

# 创建doris目录
mkdir /opt/module/doris-1.2.3

[root@hadoop100 software]# ll
-rw-r--r--. 1 root root 606211324 12月 21 14:44 apache-doris-be-1.2.3-bin-x86_64.tar.xz
-rw-r--r--. 1 root root 253869148 12月 21 15:30 apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz
-rw-r--r--. 1 root root 408078012 12月 21 14:44 apache-doris-fe-1.2.3-bin-x86_64.tar.xz
-rw-r--r--. 1 root root 195013152 11月  3 2022 jdk-8u212-linux-x64.tar.gz

# 将源码包解压到 /opt/module/doris-1.2.3/ 路径下
tar -xvf ./apache-doris-be-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris-1.2.3/
tar -xvf ./apache-doris-fe-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris-1.2.3/
tar -xvf apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris-1.2.3/

[root@hadoop100 doris-1.2.3]# cd /opt/module/doris-1.2.3/
# 文件夹重命名
mv apache-doris-be-1.2.3-bin-x86_64 be
mv apache-doris-fe-1.2.3-bin-x86_64 fe
mv apache-doris-dependencies-1.2.3-bin-x86_64 dependencies

2.2 添加环境变量

[root@hadoop100 module]# vim /etc/profile.d/my_env.sh
# 添加以下内容
# DORIS_HOME
export DORIS_HOME=/opt/module/doris-1.2.3
export PATH=$PATH:$DORIS_HOME/doris-be/bin:$DORIS_HOME/doris-fe/bin

# 刷新一下,使之生效
[root@hadoop100 module]# source /etc/profile.d/my_env.sh

2.3 修改可打开文件数（每个节点）

sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535
# 重启永久生效，也可以用 ulimit -n 65535 临时生效。

2.4 设置文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

打开文件/etc/sysctl.conf

# 临时生效：
sysctl -w vm.max_map_count=2000000

# 永久生效
vim /etc/sysctl.conf
# 在文件最后一行添加
fs.file-max = 6553560
vm.max_map_count=2000000

# 让它永久生效
sysctl -p
# 检查是否生效
sysctl -a|grep vm.max_map_count

2.5 部署FE节点

2.5.1 创建FE元数据存储的目录

mkdir /opt/module/doris-1.2.3/doris-meta

2.5.2 修改FE的配置文件

vim /opt/module/doris-1.2.3/fe/conf/fe.conf
# 添加以下内容

#配置文件中指定元数据路径：
meta_dir = ${DORIS_HOME}/doris-meta
#配置fe日志路径
LOG_DIR = ${DORIS_HOME}/fe-log
#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks = 192.168.1.100/24

2.5.3 启动FE

$DORIS_HOME/fe/bin/start_fe.sh --daemon
# $DORIS_HOME --> /opt/module/doris-1.2.3

2.6 配置BE节点

2.6.1 拷贝依赖

将依赖包中的java-udf-jar-with-dependencies.jar依赖拷贝到BE的lib目录下

scp /opt/module/doris-1.2.3/dependencies/java-udf-jar-with-dependencies.jar /opt/module/doris-1.2.3/be/lib

2.6.2 分发BE

cd /opt/module/doris-1.2.3/be
# 我是在/opt/module/doris-1.2.3/be这个目录下分发的哈
scp -r ./* 节点2:/opt/module/doris-1.2.3/be
scp -r ./* 节点3:/opt/module/doris-1.2.3/be

2.6.3 创建 BE 数据存放目录（每个节点）

# 提前查看一下磁盘空间,哪个磁盘容量大，就创建在对应目录下
[root@hadoop100 doris-1.2.3]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
devtmpfs                 2.4G     0  2.4G    0% /dev
tmpfs                    2.4G     0  2.4G    0% /dev/shm
tmpfs                    2.4G   12M  2.4G    1% /run
tmpfs                    2.4G     0  2.4G    0% /sys/fs/cgroup
/dev/mapper/centos-root   48G  8.2G   40G   18% /
/dev/mapper/centos-home   24G   33M   24G    1% /home
/dev/sda1               1014M  167M  848M   17% /boot
tmpfs                    487M     0  487M    0% /run/user/0

#节点1
mkdir -p /opt/module/doris-1.2.3/doris-storage1
mkdir -p /opt/module/doris-1.2.3/doris-storage2
mkdir -p /opt/module/doris-1.2.3/doris-storage3
#节点2
mkdir -p /opt/module/doris-1.2.3/doris-storage1
mkdir -p /opt/module/doris-1.2.3/doris-storage2
mkdir -p /opt/module/doris-1.2.3/doris-storage3
#节点3
mkdir -p /opt/module/doris-1.2.3/doris-storage1
mkdir -p /opt/module/doris-1.2.3/doris-storage2
mkdir -p /opt/module/doris-1.2.3/doris-storage3

2.6.4 修改 BE 的配置文件（每个节点）

vim $DORIS_HOME/be/conf/be.conf
# 增加如下内容

# 配置文件指定数据存放路径
storage_root_path=/opt/module/doris-1.2.3/doris-storage1;/opt/module/doris-1.2.3/doris-storage2;/opt/module/doris-1.2.3/doris-storage3
# 修改绑定ip（每台机器都要修改成自己的ip）
priority_networks=192.168.1.100/24

2.7 在FE中添加BE节点

BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client 连接到 FE

2.7.1 安装MySQL Client

1）创建目录

mkdir /opt/software/mysql-client-8.0

2)下载四个需要的MySQL组件

cd /opt/software/mysql-client-8.0

wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-common-8.0.25-1.el7.x86_64.rpm 
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-client-plugins-8.0.25-1.el7.x86_64.rpm 
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-libs-8.0.25-1.el7.x86_64.rpm
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-client-8.0.25-1.el7.x86_64.rpm

3）检查当前系统是否安装过MySQL

sudo rpm -qa|grep mariadb
#如果存在，先卸载
sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server

4）安装刚刚下载的MySQL

# 安装命令 rpm -ivh *.rpm
[root@hadoop100 mysql-client-8.0]# rpm -ivh /opt/software/mysql-client-8.0/*

警告：/opt/software/mysql-client-8.0/mysql-community-client-8.0.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:mysql-community-client-plugins-8.################################# [ 25%]
   2:mysql-community-common-8.0.25-1.e################################# [ 50%]
   3:mysql-community-libs-8.0.25-1.el7################################# [ 75%]
   4:mysql-community-client-8.0.25-1.e################################# [100%]
   
# 查看安装情况
[root@hadoop100 mysql-client-8.0]# sudo rpm -qa|grep mysql
mysql-community-client-plugins-8.0.25-1.el7.x86_64
mysql-community-common-8.0.25-1.el7.x86_64
mysql-community-client-8.0.25-1.el7.x86_64
mysql-community-libs-8.0.25-1.el7.x86_64

2.7.2 使用 MySQL Client 连接 FE

mysql -h hadoop100 -P 9030 -uroot
# 默认 root 无密码，通过以下命令修改 root 密码。
SET PASSWORD FOR 'root' = PASSWORD('root');

2.7.3 添加 BE

# 添加 BE
ALTER SYSTEM ADD BACKEND "节点1:9050";
ALTER SYSTEM ADD BACKEND "节点2:9050";
ALTER SYSTEM ADD BACKEND "节点3:9050";

2.8 启动BE节点

记得每个节点都要启动

$DORIS_HOME/be/bin/start_be.sh --daemon

2.9 查看fe、be状态

-- 查看be
SHOW PROC '/backends' \G;
-- 查看fe
SHOW PROC '/frontends' \G;
# Alive: true 表示节点存活

参考资料

Doris-1.2.3 详细安装教程&doris-1.2.3性能测试教程