Doris的集群安装

一、简介

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景，这个简短的指南将告诉你如何下载 Doris 最新稳定版本，在单节点上安装并运行它，包括创建数据库、数据表、导入数据及查询等。

二、JDK的检查和安装

Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境（JDK版本要求为8），要检查你所安装的 Java 版本，

请运行以下命令：java –version

如果没有安装Java运行环境，可以按照以下方法

1 jdk安装方法

jdk安装包：jdk-8u171-linux-x64.tar.gz

解压安装包： tar -zxvf jdk-8u171-linux-x64.tar.gz

三、 添加环境变量

1 添加环境变量

vim ~/.bashrc

export JAVA_HOME=/app/jdk1.8.0_292

export JRE_HOME=/app/jdk1.8.0_292/jre

export PATH=$JAVA_HOME/bin:$PATH

export PATH=$JRE_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2 生效环境变量

source ~/.bashrc

四、 root用户修改参数

1 设置系统最大打开文件句柄数（需root权限）

vi /etc/security/limits.conf

soft nofile 65536

hard nofile 65536

2 关闭交换分区,交换分区会有性能问题（需root权限）

swapoff -a

3 设置内核虚拟内存子系统参数（BE需要）（需root权限）

sysctl -w vm.max_map_count=2000000

五、 mysql客户端安装方法

1 解压安装包

mysql安装包：mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

tar -xvf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

2 连接mysql

mysql -h 172.23.16.32 -P 9030 –uroot

接下来，下载doris的最新二进制版本，然后解压。

tar -zxvf  selectdb_doris-1.2.4.1-arm.tar.gz

六、 配置FE

1 修改FE配置文件

注：修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，

1.1 修改priority_networks参数

 cd /apperms/software/doris-server/selectdb_doris-1.2.4.1-arm/fe/conf

vim fe.conf

##找到下面的参数并开放此参数，把ip修改为自己本机ip

priority_networks = 172.23.16.0/24  

注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。

这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。

1.2 修改meta_dir参数

meta_dir=/path/your/doris-meta

注意：

这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，

单独配置元数据目录，需要你提前创建好你指定的目录

2 启动FE

启动FE节点

./bin/start_fe.sh --helper leader_fe_host:edit_log_port –daemon

# 注意 Follower 的数量必须为奇数，集群安装收齐启动时需要./bin/start_fe.sh --helper leader_fe_host:edit_log_port --daemon 配置master节点（分节点第一次启动）

./bin/start_fe.sh –daemon(第二次以及以后启动时使用)

3 查看 FE 运行状态​

方法一：jps

方法二：curl http://127.0.0.1:8030/api/bootstrap

这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认8030），如果是你在 FE 节点执行，直接运行上面的命令即可。如果返回结果中带有 "msg":"success" 字样，则说明启动成功。

方法三：

可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址

http:// fe_ip:8030

可以看到下面的界面，说明 FE 启动成功

注意：

这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空

这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。

3 连接FE

mysql -h  172.23.16.32 -P 9030 -uroot

注意：

这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理

-P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port

-h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。

# 启动mysql连接doris，添加follower

alter system add follower "172.23.16.33:9050";

alter system add follower "172.23.16.34:9050";

# 查看fe集群状态

show proc '/frontends';

如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常。

4 停止FE

./bin/stop_fe.sh

七、 配置BE

1 修改BE配置文件

修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

1.1 修改be配置文件

vim be.conf

添加 priority_networks 参数

priority_networks = 172.23.17.0/24 # 此处ip配置为部署服务器节点网段ip

1.2 配置 BE 数据存储目录

storage_root_path=/path/your/data_dir

注意：

默认目录在 BE安装目录的 storage 目录下。

BE 配置的存储目录必须先创建好

2 启动BE

sh bin/start_be.sh –daemon

3 查看 BE 运行状态​

jps

4 添加 BE 节点到集群​

通过MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
 

be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配

heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

5 查看 BE 运行状态​

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

SHOW BACKENDS\G
 

示例：

mysql> SHOW BACKENDS\G
*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 172.23.16.32
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
   ArrowFlightSqlPort: 8070
        LastStartTime: 2022-08-16 15:31:37
        LastHeartbeat: 2022-08-17 13:33:17
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 170
     DataUsedCapacity: 985.787 KB
        AvailCapacity: 782.729 GB
        TotalCapacity: 984.180 GB
              UsedPct: 20.47 %
       MaxDiskUsedPct: 20.47 %
                  Tag: {"location" : "default"}
               ErrMsg:
              Version: 1.1.2-rc03-ca55ac2
               Status: {"lastSuccessReportTabletsTime":"2022-08-17 13:33:05","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
1 row in set (0.01 sec)
 

Alive : true表示节点运行正常

6 停止 BE 节点​

Doris BE 的停止可以通过下面的命令完成

./bin/stop_be.sh
 

八、 创建数据表

1 创建一个数据库

create database demo;

2 创建数据表

use demo;

CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
用户最小停留时间"    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
 

示例数据

10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6
 

将上面的数据保存在test.csv文件中。

3 导入数据

这里我们通过Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
 

-T test.csv : 这里使我们刚才保存的数据文件，如果路径不一样，请指定完整路径

-u root : 这里是用户名密码，我们使用默认用户root，密码是空

127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

执行成功之后我们可以看到下面的返回信息

{
    "TxnId": 30303,
    "Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25",
    "TwoPhaseCommit": "false",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 7,
    "NumberLoadedRows": 7,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 399,
    "LoadTimeMs": 381,
    "BeginTxnTimeMs": 3,
    "StreamLoadPutTimeMs": 5,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 191,
    "CommitAndPublishTimeMs": 175
}
 

NumberLoadedRows: 表示已经导入的数据记录数

NumberTotalRows: 表示要导入的总数据量

Status :Success 表示导入成功

到这里我们已经完成的数据导入，下面就可以根据我们自己的需求对数据进行查询分析了。

4 查询数据​

我们上面完成了建表，输数据导入，下面我们就可以体验 Doris 的数据快速查询分析能力。

mysql> select * from example_tbl;

九、 负载均衡

在原来keepalived基础上添加doris集群

su keepalived用户登录

切换到以下路径

/bigdata/keepalived/nginx/conf

添加以上配置：

    upstream dev_doris_fe {

        server172.23.16.32:9030 weight=1;

        server172.23.16.33:9030 weight=1;

        server172.23.16.34:9030 weight=1;

     }

    server {

        listen  8090;

        proxy_connect_timeout 15s;

        proxy_timeout 300s;

        proxy_pass dev_doris_fe;

    }

然后重新加载nginx配置文件

 ./sbin/nginx -s reload -p /test/keepalived/nginx  -c /test/nginx/conf/nginx.conf