Apache Doris 1.1.1版本 MPP数据库安装

最新推荐文章于 2024-05-28 19:36:43 发布
最新推荐文章于 2024-05-28 19:36:43 发布
阅读量943 收藏
点赞数
分类专栏： # Apache Doris 文章标签： apache doris 1.1.1 mpp数据库 分布式集群部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/126081511
版权

目录

1. linux环境准备

1.1 选择ext4文件系统

在安装linux系统的时候，推荐选择ext4文件系统

1.2 安装linux依赖

[root@doris1 ~]# yum install -y gcc.x86_64

1.3 设置系统最大打开文件句柄数

临时设置方式：

[root@doris1 ~]# ulimit -n 65536
  • 可以通过ulimit -a进行查看

永久设置方式：添加如下到/etc/security/limits.conf，然后重启服务器

* soft nofile 65536
* hard nofile 65536

1.4 关闭swap分区

临时关闭方式：

[root@doris1 ~]# swapoff -a
[root@doris1 ~]# 
[root@doris1 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:            972         158         261           7         552         661
Swap:             0           0           0
[root@doris1 ~]#
[root@doris1 ~]# echo "vm.swappiness = 0" >> /etc/sysctl.conf
[root@doris1 ~]# 
[root@doris1 ~]# sysctl -p
vm.swappiness = 0
[root@doris1 ~]#

永久关闭方式：注释/etc/fstab中下面这行，然后重启服务器

/dev/mapper/centos_centos-swap swap                    swap    defaults        0 0

1.5 linux服务器时间同步

服务器之间的时间偏差要求在5秒内，时间同步可以参考Centos7服务器通过Chrony设置时间同步 + timedatectl命令的使用

2. PE的高可用搭配

  • 一个follower和一个observer可以实现读高可用
  • 3个follower可以实现读写高可用，follower数量必须为奇数
  • observer只负责同步follower的元数据，不参加Leader选举

3. 安装

Doris的FE和BE新增扩容，不影响已经运行的FE和BE，所以我们先部署一个FE和一个BE

3.1 下载解压

通过命令cat /proc/cpuinfo | grep avx2查看flags中是否有avx2。有则支持avx2指令，没有则不支持。然后下载对应的二进制包版本

[root@doris1 ~]# wget https://dist.apache.org/repos/dist/release/doris/1.1/1.1.1-rc03/apache-doris-1.1.1-bin-x86.tar.gz
[root@doris1 ~]#
[root@doris1 ~]# tar -zxvf apache-doris-1.1.1-bin-x86.tar.gz
[root@doris1 ~]#
[root@doris1 ~]# cd apache-doris-1.1.1-bin-x86
[root@doris1 apache-doris-1.1.1-bin-x86]#
[root@doris1 apache-doris-1.1.1-bin-x86]# ls
apache_hdfs_broker  fe                licenses    udf
be                  LICENSE-dist.txt  NOTICE.txt
[root@doris1 apache-doris-1.1.1-bin-x86]#

3.2 安装Java

安装Java8，参考centos7同时安装java8和openJdk11、windows同时安装java8和openJdk11

3.3 安装第一个FE

如果条件好的，FE和BE应该部署在不同的服务器上，即使在同一服务器，也应该位于不同的磁盘上

1. 修改fe/conf/fe.conf：
修改内容如下：

JAVA_OPTS="-Xmx8192m ......省略内容......"
# 如果meta_dir目录不存在，则需手动创建
meta_dir = /root/apache-doris-1.1.1-bin-x86/fe/doris-meta
priority_networks = 192.168.23.61/24
http_port = 7030

新增内容如下：

JAVA_HOME=/root/jdk1.8.0_201

2. 配置环境变量
添加如下到/etc/profile，然后进行source使其生效

export DORIS_HOME=/root/apache-doris-1.1.1-bin-x86
export PATH=$DORIS_HOME/fe/bin:$PATH

3. 启动FE

[root@doris1 apache-doris-1.1.1-bin-x86]# start_fe.sh --daemon

4. 检验FE是否启动成功

[root@doris1 apache-doris-1.1.1-bin-x86]# curl http://doris1:7030/api/bootstrap
{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"version":""},"count":0}[root@doris1 apache-doris-1.1.1-bin-x86]# 
[root@doris1 apache-doris-1.1.1-bin-x86]#

5. 访问Doris FE的Web界面
访问http://doris1:7030，输入用户名：root，密码为空(如果修改了doris的root用户密码，则为修改后的密码)。如下所示

Doris FE Web界面

3.4 安装第一个BE

1. 新增doris-data.HDD目录

[root@doris1 be]# mkdir doris-data.HDD

2. 修改be/conf/be.conf
修改内容如下：

priority_networks = 192.168.23.61/24
storage_root_path = /root/apache-doris-1.1.1-bin-x86/be/doris-data.HDD,200
webserver_port = 7020
brpc_port = 8061

参数说明：

  • HDD表示目录所在的磁盘是HDD类型，可以通过命令lsblk -d -o name,rota进行查看，rota返回的是1，表示可以旋转，是机械硬盘HDD
  • 200表示目录的最大储存容量。需要预留额外40%的空间用作后台compaction以及一些中间数据的存放

3. 配置环境变量
添加如下到/etc/profile，然后进行source使其生效

export DORIS_HOME=/root/apache-doris-1.1.1-bin-x86
export PATH=$DORIS_HOME/be/bin:$PATH

4. FE添加BE
mysql的客户端安装，请参考centos7安装mysql8.0.25版本

[root@doris1 ~]# mysql -h doris1 -P 9030 -u root
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 0
Server version: 5.7.37 Doris version 1.1.1-rc03-2dbd70bf9

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> ALTER SYSTEM ADD BACKEND "192.168.23.61:9050";
Query OK, 0 rows affected (0.12 sec)

mysql>
  • 连接PE的端口为PE的query_port参数值
  • 添加BACKEND的端口为BE的heartbeat_service_port参数值

5. 启动BE

[root@doris1 apache-doris-1.1.1-bin-x86]# start_be.sh --daemon

6. 检验BE是否启动成功
方式一：curl

[root@doris1 apache-doris-1.1.1-bin-x86]# curl http://192.168.23.61:7020/api/health
{"status": "OK","msg": "To Be Added"}[root@doris1 apache-doris-1.1.1-bin-x86]# 
[root@doris1 apache-doris-1.1.1-bin-x86]#

方式二：mysql，Alive列为true表示BE启动成功

mysql> SHOW PROC '/backends';
+-----------+-----------------+---------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+----------------------+-------------------------------------------------------------------------------------------------------------------------------+
| BackendId | Cluster         | IP            | HostName | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | Tag                      | ErrMsg | Version              | Status                                                                                                                        |
+-----------+-----------------+---------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+----------------------+-------------------------------------------------------------------------------------------------------------------------------+
| 10002     | default_cluster | 192.168.23.61 | doris1   | 9050          | 9060   | 7020     | 8061     | 2022-07-31 16:37:47 | 2022-07-31 16:39:50 | true  | false                | false                 | 0         | 0.000            | 43.049 GB     | 49.976 GB     | 13.86 % | 13.86 %        | {"location" : "default"} |        | 1.1.1-rc03-2dbd70bf9 | {"lastSuccessReportTabletsTime":"2022-07-31 16:38:59","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} |
+-----------+-----------------+---------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+----------------------+-------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.05 sec)

mysql>

方式三：FE Web界面

FE Web界面

** 7. 访问BE的Web界面**
http://doris1:7020

3.5 新增一个PE(follower/observer)

1. 修改fe/conf/fe.conf：
修改内容如下：

JAVA_OPTS="-Xmx8192m ......省略内容......"
# 如果meta_dir目录不存在，则需手动创建
meta_dir = /root/apache-doris-1.1.1-bin-x86/fe/doris-meta
priority_networks = 192.168.23.62/24
http_port = 7030

新增内容如下：

JAVA_HOME=/root/jdk1.8.0_201

2. 配置环境变量
添加如下到/etc/profile，然后进行source使其生效

export DORIS_HOME=/root/apache-doris-1.1.1-bin-x86
export PATH=$DORIS_HOME/fe/bin:$PATH

3. 向Leader PE添加Follower

[root@doris1 ~]# mysql -h doris1 -P 9030 -u root
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 0
Server version: 5.7.37 Doris version 1.1.1-rc03-2dbd70bf9

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> ALTER SYSTEM ADD FOLLOWER "192.168.23.62:9010";
Query OK, 0 rows affected (0.10 sec)

mysql>
  • 端口是fe/conf/fe.conf中的edit_log_port参数值
  • 如果添加observer, 则将上面的FOLLOWER修改为OBSERVER即可

4. 启动FE

[root@doris2 apache-doris-1.1.1-bin-x86]# start_fe.sh --helper doris1:9010 --daemon
  • –helper参数只在初始化的时候需要
  • 端口是fe/conf/fe.conf中的edit_log_port参数值

5. 检验FE是否启动成功
方式一：curl

[root@doris2 apache-doris-1.1.1-bin-x86]# curl http://doris2:7030/api/bootstrap
{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"version":""},"count":0}[root@doris2 apache-doris-1.1.1-bin-x86]# 
[root@doris2 apache-doris-1.1.1-bin-x86]#

方式二：mysql，Alive列为true表示FE启动成功

mysql> SHOW PROC '/frontends';
+----------------------------------+---------------+----------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+----------------------+------------------+
| Name                             | IP            | HostName | EditLogPort | HttpPort | QueryPort | RpcPort | Role     | IsMaster | ClusterId  | Join | Alive | ReplayedJournalId | LastHeartbeat       | IsHelper | ErrMsg | Version              | CurrentConnected |
+----------------------------------+---------------+----------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+----------------------+------------------+
| 192.168.23.61_9010_1659253554808 | 192.168.23.61 | doris1   | 9010        | 7030     | 9030      | 9020    | FOLLOWER | true     | 1494516980 | true | true  | 1522              | 2022-07-31 17:16:39 | true     |        | 1.1.1-rc03-2dbd70bf9 | Yes              |
| 192.168.23.62_9010_1659258566532 | 192.168.23.62 | doris2   | 9010        | 7030     | 9030      | 9020    | FOLLOWER | false    | 1494516980 | true | true  | 1521              | 2022-07-31 17:16:39 | true     |        | 1.1.1-rc03-2dbd70bf9 | No               |
+----------------------------------+---------------+----------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+----------------------+------------------+
2 rows in set (0.27 sec)

mysql>

6. 访问Doris FE的Web界面
访问http://doris2:7030，输入用户名：root，密码为空(如果修改了doris的root用户密码，则为修改后的密码)。如下所示

Doris FE Web界面

3.6 新增一个BE

  • 前面的步骤可以参考【安装第一个BE】，但注意be/conf/be.conf中的priority_networks参数，如在doris2上安装该参数就是priority_networks = 192.168.23.62/24

  • 数据会在几个小时到一天时间内，自动均衡到新增的BE上

3.7 DECOMMISSION方式安全删除一个BE

语法如下：

mysql> ALTER SYSTEM DECOMMISSION BACKEND "192.168.23.62:9050";

说明如下：

  • 命令发送后，Doris会尝试将该BE上的数据向其它BE节点迁移，当所有数据都迁移完成后，Doris会自动删除该节点
  • 该命令是一个异步操作。执行后，可以通过SHOW PROC '/backends';看到该BE节点的SystemDecommissioned字段为true。表示该节点正在进行下线。DECOMMISSION的进度，可以通过该BE节点的TabletNum字段查看
  • 该命令不一定执行成功。比如剩余BE存储空间不足以容纳下线BE上的数据，或
    者剩余机器数量不满足最小副本数时，该命令都无法完成。此时BE会一直处于SystemDecommissioned为true的状态
  • 该操作可以通过如下命令取消：CANCEL DECOMMISSION BACKEND "192.168.23.62:9050";。取消后，该BE上的数据将维持当前剩余的数据量。后续 再次执行DECOMMISSION将重新进行负载均衡
Bulut0907
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
初学者对doris安装及使用
02-12
对doris的安装进行了较为详尽的描述，针对不同系统和用户载安装过程中遇到的各个程序进行筛选，比较适合于doris初学者使用，在最有有实例说明。
MPP数据库 doris 使用
08-30
Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。...
Apache Doris 0.14.0版本 MPP数据库编译和安装
Bulut0907
10-25 1499
目录1. 编译2. 安装 1. 编译 官方提供Docker环境编译、Centos\Ubuntu环境编译、ARM64平台编译，我们这里采样Docker环境编译 下载Docker镜像 [root@bigdata001 ~]# [root@bigdata001 ~]# docker pull apache/incubator-doris:build-env-1.2 build-env-1.2: Pulling from apache/incubator-doris 7a376117f479: Pull compl
Apache-Doris单机部署
最新发布
CCH2024的专栏
05-28 1081
Apache-Doris单机部署
【Doris】Doris数据库最新版安装方法，详细图文教程
airyv的博客
01-13 4789
Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。
【Doris的安装与部署】
weixin_45363959的博客
05-15 2429
Doris作为一款MPP架构的OLAP数据库，可以在绝大多数主流的商用服务器上运行。
Apache Doris 2.1.0 版本发布：开箱盲测性能大幅优化，复杂查询性能提升 100%
SelectDB
03-11 2885
亲爱的社区小伙伴们，我们很高兴地向大家宣布，在 3 月 8 日我们引来了的正式发布，欢迎大家下载使用。在 2.1.0 版本的研发过程中，后续我们将会持续敏捷发版来响应所有用户对功能和稳定性的更高追求，欢迎大家在使用过程中给予我们更多反馈。
robnote数据库文档生成工具1.1.1版本，小巧绿色，不需要安装！支持mysql、doris等
01-29
robnote数据库文档生成工具1.1.1版本，小巧绿色，不需要安装！支持mysql、doris等 robnote数据库文档生成工具1.1.1版本，小巧绿色，不需要安装！支持mysql、doris等 robnote数据库文档生成工具1.1.1版本，小巧绿色，...
doris 0.15版本 中的 apache_hdfs_broker 插件
01-28
已对doris 0.15版本中的apache_hdfs_broker组件进行了编译，可以直接使用此包进行 分发，修改配置文件，启动（之前需要对doris进行安装启动） *** 对应的doris0.15安装包链接如下：...
Apache Doris 用户案例集
06-05
Apache Doris 已俘获全球范围内超过 2000 家企业的认可，拥有了极为广泛的用户规模、在企业实时数据分析的多种场景中得到广泛应用，并在广大社区用户和开发者的支持下，一举成为全球数据库和大数据领域最为活跃的...
doris 0.15版本 安装包
01-26
已对doris 0.15版本进行了编译，可以直接使用此包进行 分发，修改配置文件，启动 如果需要积分或者校验码，可以去百度网盘中下载，地址如下： 链接：https://pan.baidu.com/s/1BA3ZRcfjj4-tVVZNUIw9Bw 提取码：...
Doris应用指南
03-09
简介Doris软件安装，应用，环境变量的配置等等
Apache Doris 2.x 版本【保姆级】安装+使用教程
李指导的博客
04-25 4022
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris单机安装部署
少说，多做
07-12 4593
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris-01-Doris的简介和安装
迷雾总会解
06-23 1482
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
Doris 介绍及安装流程、扩容
zhiying97的博客
01-11 2332
Doris 简介 安装 扩容都在这里了哦。doris是什么？ Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理） 分析型（OLAP）数据库产品。
Apache Doris 系列： 基础篇-安装部署
修破立生
09-13 2068
系统准备 系统版本 Ubuntu系统或者Centos系统皆可， 本文采用Ubuntu 18.04.6 LTS(下载地址：https://releases.ubuntu.com/bionic/)。 配置系统参数 echo "0" > /proc/sys/vm/swappiness echo "0" > /proc/sys/vm/overcommit_memory sysctl -p 修改/etc/security/limits.conf， 在文件末尾追加以下配置 * sof
搭建环境06：部署Doris
m0_37559973的博客
10-04 3405
Doris 集群部署
Windows系统下通过docker部署doris集群
weixin_55577709的博客
05-09 1917
在windows系统中通过docker部署doris集群以及遇到过的一些问题
Apache Doris 2.0版本新特性
05-13
Apache Doris 2.0版本的主要新特性如下： 1. 多租户支持：Doris 2.0版本支持多租户，可以将不同的用户或者应用程序分配到不同的租户中，每个租户都拥有自己的资源配额、数据库、表等，实现了资源隔离和安全性的提升...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值