大数据之Doris集群搭建与部署(一)

一、为什么要用Doris

二、Doris原理

三、Doris集群搭建与部署

一、为什么要用Doris

刚开始我们的数仓流程是这样的: 

随着业务需求的变化,出现了实时同步数据的需求,离线的需求已经不能满足业务上的变化,利用Doris作为中间数据集,对外提供统一的数据服务

极大提升了数据处理的效率和查询的便捷性,利用了多数据源的迁移方案进行数据处理

二、Doris架构原理图

三、doris集群部署

  Doris集群部署是基于Doris单机部署进行扩展,部署,主要基于以下三个点部署

  1.FE部署

  2.BE部署

  3.Broker部署

一、前期准备工作

准备三台机器，建立好ssh免密传输，在每台机器都要做如下步骤：

1.设置系统最大文件打开句柄数

打开三台机器的/etc/security/limits.conf文件，在文件最后一行输入如下内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

2.时钟同步

3.关闭每台机器的交换分区

4.查看cpu module

5.下载安装包

Download - Apache Doris

二、单节点部署安装Doris

(一)安装fe
选择集群中的一台机器，进行如下操作：

1.解压改名
tar -zxf apache-doris-2.0.1.1-bin-x64.tar.gz -C /opt/module/
 
cd /opt/module/
 
mv apache-doris-2.0.1.1-bin-x64/ doris
 
cd doris/

2.修改配置文件
 

-- 去自己的路径中找到fe.conf文件
vim /opt/module/doris/fe/conf/fe.conf
 
# fe日志存放路径
LOG_DIR = ${DORIS_HOME}/log
 
# 配置文件中指定元数据路径： 需手动创建该目录
meta_dir = /opt/module/doris/doris-meta
# 注意：生产环境强烈建议单独指定目录不要放在Doris安装目录下，最好是单独的磁盘（如果有SSD最好）
# 测试开发环境可以使用默认配置
 
#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.180.152/24
 
# fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 8GB。 

3.创建元数据目录

mkdir -p /opt/module/doris/doris-meta

4.配置Doris环境变量

vim /etc/profile.d/my_env.sh
 
# DORIS_HOME
export DORIS_HOME=/opt/module/doris
export PATH=$PATH:$DORIS_HOME/be/bin
export PATH=$PATH:$DORIS_HOME/extensions/apache_hdfs_broker/bin
export PATH=$PATH:$DORIS_HOME/fe/bin
 
source /etc/profile

5.启动fe

/opt/module/doris/fe/bin/start_fe.sh
 
# 或者后台启动

/opt/module/doris/fe/bin/start_fe.sh --daemon

 (二)安装be

1.进入be目录下，修改配置文件

vim /opt/module/doris/be/conf/be.conf
 
priority_networks = 192.168.180.153/24
 
storage_root_path = /opt/module/doris/be/storage.HDD;/opt/module/doris/be/storage.SSD

2.创建两个storage文件

  mkdir -p /opt/module/doris/be/storage.HDD
mkdir -p /opt/module/doris/be/storage.SSD

注意：

        在Doris中，HDD和SSD分别表示硬盘驱动器（Hard Disk Drive）和固态硬盘驱动器（Solid State Drive）。

        HDD是传统的机械硬盘，它使用旋转的磁盘和机械臂来读写数据。它具有较大的存储容量，但相对较低的读写速度和响应时间。在Doris中，HDD通常用于存储数据文件和日志文件，作为持久化存储介质。

        SSD是基于闪存技术的硬盘，它没有机械部件，可以提供更快的读写速度和更低的响应时间。SSD通常比HDD更可靠和耐用，但存储容量相对较小且价格较高。在Doris中，SSD通常用于存储元数据、索引文件和缓存数据，以加快查询和写入操作的性能。

        在Doris的配置中，可以指定不同的存储介质类型，根据实际需求和成本因素选择适合的硬盘驱动器。通常情况下，将Doris的数据文件和日志文件放置在HDD上，将元数据、索引文件和缓存数据放置在SSD上，以达到高性能和较大存储容量的平衡。

 3.修改start_be.sh文件，第一行添加JAVA_HOME

cd /opt/module/doris/be/bin/
 
vim start_be.sh
 
export JAVA_HOME=/opt/module/jdk1.8.0_212

4.启动前输入命令

 第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案：
命令行先输入：sysctl -w vm.max_map_count=2000000

 6.启动be

start_be.sh --daemon

 

7.检查be是否启动成功

[root@hadoop102 ~]# netstat -nltp | grep be
tcp        0      0 0.0.0.0:9050            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:9060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      7311/doris_be 

 

(三)连接fe和be

因为FE和BE两个都是单独的个体，所以他俩相互间还不认识，就需要我们通过mysql的客户端将他们建立起联系 

1.登录Doris客户端界面

在 FE 中添加所有 BE 节点，可以使用 mysql-client(下载MySQL 5.7) 连接到 FE：

mysql -uroot -P9030 -p -h192.168.180.152

 

2.查看fe状态

show proc '/frontends' \G

红框内表示该节点的机器是leader

 

 3.查看be状态

SHOW PROC '/backends' \G;

4.添加be到fe

 alter system add backend '192.168.180.152:9050';

 

(四)部署broker(可选)

Broker 是用于访问外部数据源（如 hdfs）的进程。Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

1.启动broker

   # 直接启动broker即可
 
start_broker.sh --daemon 

 

2.添加broker节点

使用 mysql-client 连接启动的 FE，执行以下命令：

# 查看broker
mysql> SHOW PROC "/brokers"; 
 
# 添加broker
mysql> ALTER SYSTEM ADD BROKER broker_name "192.168.180.152:8000";

(五)启动和关闭be、fe和broker的顺序

在启动Doris时，应该按照以下顺序启动BE（Backend）、Broker和FE（Frontend）服务：

启动BE服务：start_be.sh --daemon

启动Broker服务：start_broker.sh --daemon

启动FE服务：start_fe.sh --daemon

在关闭Doris时，应该按照以下顺序关闭FE、Broker和BE服务：

关闭FE服务：stop_fe.sh --daemon

关闭Broker服务：stop_broker.sh --daemon

关闭BE服务：stop_be.sh --daemon

        注意：在启动和关闭Doris的过程中，还需要考虑服务之间的依赖关系和网络通信等问题，确保服务可以正常启动和停止。同时，还需要注意日志文件和数据文件等的备份和恢复操作，以确保数据安全性和可靠性。

后台启动有可能关不掉be，解决办法：