Doris单机部署——2.0.1.1版本

目录

一、前期准备工作

1.设置系统最大文件打开句柄数

2.时钟同步

3.关闭每台机器的交换分区

4.查看cpu module

5.下载安装包

二、单节点部署安装Doris

(一)安装fe

1.解压改名

2.修改配置文件

3.创建元数据目录

4.配置Doris环境变量

5.启动fe

6.访问fe的webUI

(二)安装be

1.进入be目录下,修改配置文件

2.创建两个storage文件

3.修改start_be.sh文件,第一行添加JAVA_HOME

4.启动前输入命令

5.永久设置启动参数

6.启动be

7.检查be是否启动成功

(三)连接fe和be

1.登录Doris客户端界面

2.查看fe状态

3.查看be状态

4.添加be到fe

(四)部署broker(可选)

1.启动broker

2.添加broker节点

​(五)启动和关闭be、fe和broker的顺序


Doris官网地址:https://doris.apache.org/

一、前期准备工作

准备三台机器,建立好ssh免密传输,在每台机器都要做如下步骤:

1.设置系统最大文件打开句柄数

打开三台机器的/etc/security/limits.conf文件,在文件最后一行输入如下内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

2.时钟同步

参考往期文章《Linux中CentOS7时间与网络时间orWindows同步的方法

3.关闭每台机器的交换分区

4.查看cpu module

5.下载安装包

https://doris.apache.org/download

我下载的是2.0.1.1版本的,点击Binary即可

二、单节点部署安装Doris

(一)安装fe

选择集群中的一台机器,进行如下操作:

1.解压改名

tar -zxf apache-doris-2.0.1.1-bin-x64.tar.gz -C /opt/module/

cd /opt/module/

mv apache-doris-2.0.1.1-bin-x64/ doris

cd doris/

2.修改配置文件

-- 去自己的路径中找到fe.conf文件
vim /opt/module/doris/fe/conf/fe.conf

# fe日志存放路径
LOG_DIR = ${DORIS_HOME}/log

# 配置文件中指定元数据路径: 需手动创建该目录
meta_dir = /opt/module/doris/doris-meta
# 注意:生产环境强烈建议单独指定目录不要放在Doris安装目录下,最好是单独的磁盘(如果有SSD最好)
# 测试开发环境可以使用默认配置

#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.180.152/24

# fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 8GB。 

3.创建元数据目录

mkdir -p /opt/module/doris/doris-meta

4.配置Doris环境变量

vim /etc/profile.d/my_env.sh

# DORIS_HOME
export DORIS_HOME=/opt/module/doris
export PATH=$PATH:$DORIS_HOME/be/bin
export PATH=$PATH:$DORIS_HOME/extensions/apache_hdfs_broker/bin
export PATH=$PATH:$DORIS_HOME/fe/bin

source /etc/profile

5.启动fe

/opt/module/doris/fe/bin/start_fe.sh

# 或者后台启动
/opt/module/doris/fe/bin/start_fe.sh --daemon

 

6.访问fe的webUI

http://hadoop102:8030

username是root,没有密码,直接登录即可

(二)安装be

1.进入be目录下,修改配置文件

vim /opt/module/doris/be/conf/be.conf

priority_networks = 192.168.180.153/24

storage_root_path = /opt/module/doris/be/storage.HDD;/opt/module/doris/be/storage.SSD

2.创建两个storage文件

mkdir -p /opt/module/doris/be/storage.HDD
mkdir -p /opt/module/doris/be/storage.SSD

注意:

        在Doris中,HDD和SSD分别表示硬盘驱动器(Hard Disk Drive)和固态硬盘驱动器(Solid State Drive)。

        HDD是传统的机械硬盘,它使用旋转的磁盘和机械臂来读写数据。它具有较大的存储容量,但相对较低的读写速度和响应时间。在Doris中,HDD通常用于存储数据文件和日志文件,作为持久化存储介质。

        SSD是基于闪存技术的硬盘,它没有机械部件,可以提供更快的读写速度和更低的响应时间。SSD通常比HDD更可靠和耐用,但存储容量相对较小且价格较高。在Doris中,SSD通常用于存储元数据、索引文件和缓存数据,以加快查询和写入操作的性能。

        在Doris的配置中,可以指定不同的存储介质类型,根据实际需求和成本因素选择适合的硬盘驱动器。通常情况下,将Doris的数据文件和日志文件放置在HDD上,将元数据、索引文件和缓存数据放置在SSD上,以达到高性能和较大存储容量的平衡。

3.修改start_be.sh文件,第一行添加JAVA_HOME

cd /opt/module/doris/be/bin/

vim start_be.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

4.启动前输入命令

第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案:
命令行先输入:sysctl -w vm.max_map_count=2000000

5.永久设置启动参数

vim /etc/sysctl.conf (需要是root账户)

vm.max_map_count=200000 (文件最后添加一行)

# 输入后保存退出再输入下面的命令
sysctl -p (重启生效)

6.启动be

start_be.sh --daemon

7.检查be是否启动成功

[root@hadoop102 ~]# netstat -nltp | grep be
tcp        0      0 0.0.0.0:9050            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:9060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      7311/doris_be 

(三)连接fe和be

因为FE和BE两个都是单独的个体,所以他俩相互间还不认识,就需要我们通过mysql的客户端将他们建立起联系 

1.登录Doris客户端界面

在 FE 中添加所有 BE 节点,可以使用 mysql-client(下载MySQL 5.7) 连接到 FE:

mysql -uroot -P9030 -p -h192.168.180.152

2.查看fe状态

show proc '/frontends' \G

红框内表示该节点的机器是leader

3.查看be状态

SHOW PROC '/backends' \G;

4.添加be到fe

alter system add backend '192.168.180.152:9050';

此时be成功和fe连接!

(四)部署broker(可选)

        Broker 是用于访问外部数据源(如 hdfs)的进程。Broker 以插件的形式,独立于 Doris 部署。如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的,建议每一个 FE 和 BE 节点都部署一个 Broker。

1.启动broker

# 直接启动broker即可

start_broker.sh --daemon 

2.添加broker节点

使用 mysql-client 连接启动的 FE,执行以下命令:

# 查看broker
mysql> SHOW PROC "/brokers"; 

# 添加broker
mysql> ALTER SYSTEM ADD BROKER broker_name "192.168.180.152:8000";

(五)启动和关闭be、fe和broker的顺序

        在启动Doris时,应该按照以下顺序启动BE(Backend)、Broker和FE(Frontend)服务:

  1. 启动BE服务:start_be.sh --daemon

  2. 启动Broker服务:start_broker.sh --daemon

  3. 启动FE服务:start_fe.sh --daemon

在关闭Doris时,应该按照以下顺序关闭FE、Broker和BE服务:

  1. 关闭FE服务:stop_fe.sh --daemon

  2. 关闭Broker服务:stop_broker.sh --daemon

  3. 关闭BE服务:stop_be.sh --daemon

        注意:在启动和关闭Doris的过程中,还需要考虑服务之间的依赖关系和网络通信等问题,确保服务可以正常启动和停止。同时,还需要注意日志文件和数据文件等的备份和恢复操作,以确保数据安全性和可靠性。

后台启动有可能关不掉be,解决办法:

集群部署后期会更新~

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值