Doris的安装

最新推荐文章于 2024-06-29 09:24:24 发布
最新推荐文章于 2024-06-29 09:24:24 发布
阅读量4.3k 收藏 4
点赞数 1
分类专栏： OLAP 大数据技术栈文档 文章标签： linux Doris 大数据
CSDN@WHYBIGDATA
本文链接：https://blog.csdn.net/m0_52735414/article/details/128992841
版权

Doris的安装

文章目录

写在前面

官方建议：为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，建议 Doris 的部署遵循以下需求：

Linux 操作系统版本需求

Linux 系统版本
CentOS7.1 及以上
Ubuntu16.04 及以上

软件需求

软件版本
Java1.8 及以上
GCC4.8.2 及以上

操作系统安装要求

设置系统最大打开文件句柄数
vi /etc/security/limits.conf 
* soft nofile 65536
* hard nofile 65536
时钟同步

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

关闭交换分区（swap）

Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前禁用交换分区

开发测试环境

模块CPU内存磁盘网络实例数量
Frontend8核+8GB+SSD 或 SATA，10GB+ *千兆网卡1
Backend8核+16GB+SSD 或 SATA，50GB+ *千兆网卡1-3 *

生产环境

模块CPU内存磁盘网络实例数量（最低要求）
Frontend16核+64GB+SSD 或 RAID 卡，100GB+ *万兆网卡1-3 *
Backend16核+64GB+SSD 或 SATA，100G+ *万兆网卡3 *

安装

下载安装包

低版本（V1.0之前的版本）：安装 Doris，需要先通过源码编译，主要有两种方式：使用 Docker 开发镜像编译（推荐）、直接编译。

直接编译的方式，可以参考官网：https://doris.apache.org/zh-CN/installing/compilation.html

https://doris.apache.org/zh-CN/docs/dev/install/source-install/compilation

高版本：直接下载官网的tar包即可，无需再手动编译；本文安装的是doris-1.1.5版本

V1.1.5下载地址如下：

https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.5-rc02/

![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Oz68wkWv-1676171317565)(1.png)]

选择下载上图中框选的两个tar包

默认端口

实例名称端口名称默认端口通讯方向说明
BEbe_port9060FE --> BEBE 上 thrift server 的端口，用于接收来自 FE 的请求
BEwebserver_port8040BE <–> BEBE 上的 http server 的端口
BEheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于接收来自 FE 的心跳
BEbrpc_port8060FE <–> BE, BE <–> BEBE 上的 brpc 端口，用于 BE 之间通讯
FEhttp_port8030FE <–> FE，用户 <–> FEFE 上的 http server 端口
FErpc_port9020BE --> FE, FE <–> FEFE 上的 thrift server 端口，每个fe的配置需要保持一致
FEquery_port9030用户 <–> FEFE 上的 mysql server 端口
FEedit_log_port9010FE <–> FEFE 上的 bdbje 之间通信用的端口
Brokerbroker_ipc_port8000FE --> Broker, BE --> BrokerBroker 上的 thrift server，用于接收请求

当部署多个 FE 实例时，要保证 FE 的 http_port 配置相同。

部署前请确保各个端口在应有方向上的访问权限。

集群部署

主机 1主机 2主机 3
FE(LEADER)FE(FOLLOWER)FE(OBSERVER)
BEBEBE
BROKERBROKERBROKER

生产环境建议 FE 和 BE 分开。

前置准备

  • 创建目录作为doris的安装目录
[whybigdata@node01 ~]# mkdir /opt/module/doris-1.1.5
  • 修改可打开文件数（每个节点都要修改）
[whybigdata@node01 ~]# sudo vim /etc/security/limits.conf
*	soft nofile 65535
*	hard nofile 65535
*	soft nproc 65535
*	hard nproc 65535

我们可以通过ulimit -a命令查看具体值

![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Fa39fNq-1676171317567)(2.png)]

修改之后：从左到右四列的表示含义：需要限制的用户或用户组、类型（软|硬限制）、限制值的对象、限制值

注意：一般情况下，软限制（数值）<=硬限制

重启永久生效，也可以用 ulimit -n 65535 临时生效。

安装部署FE

  • 创建 fe 元数据存储的目录
[whybigdata@node01 ~]# mkdir /opt/module/doris-1.1.5/doris-meta

注意：此处如果没有提前创建该目录（配置文件中指定元数据路径），则启动fe后执行 jps 或者 ps –ef | grep doris 或者 ps –ef | grep fe 都找不到相应的进程。

关于这个error，可以在/opt/module/doris-1.1.5/fe/log目录下的 fe.log，在最后面可以看到这个error的原因是：不存在/opt/module/doris-1.1.5/doris-meta这个目录。如下图所示：

![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YQfT3e2X-1676171317567)(3.png)]

  • 下载的tar包上传到Linux 中
  • 解压fe的tar包，并重命名
[whybigdata@node01 software]# tar ./apache-doris-fe-1.1.5-bin.tar.gz -C /opt/module/doris-1.1.5/
[whybigdata@node01 doris-1.1.5]# mv apache-doris-fe-1.1.5 fe
  • 修改配置文件

fe.conf文件：位于fe安装目录下的conf目录

[whybigdata@node01 ~]# vim /opt/module/doris-1.1.5/fe/conf/fe.conf 

#配置文件中指定元数据路径： 注意这个文件夹要自己创建
meta_dir = /opt/module/doris-1.1.5/doris-meta
#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.10.131/24
  • 分发集群
[whybigdata@node01 app]# for i in 2 3 
> do
> scp -r /opt/module/doris-1.1.5 node0$i:/opt/module/	
> done
  • 启动：进入到fe的bin目录下执行
[whybigdata@node01 bin]# ./start_fe.sh --daemon

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

  • 查看前端页面

http://node01:8030

注意：账号是whybigdata，且默认密码为空

安装部署BE

  • 创建 BE 数据存放目录（每个节点）
[whybigdata@node01 ~]# mkdir /opt/module/doris-1.1.5/doris-storage1 
[whybigdata@node01 ~]# mkdir /opt/module/doris-1.1.5/doris-storage2
  • 下载的tar包上传到 Linux 中
  • 解压be的tar包，并重命名
[whybigdata@node01 software]# tar ./apache-doris-be-1.1.5-bin-x86_64.tar.gz -C /opt/module/doris-1.1.5/
[whybigdata@node01 doris-1.1.5]# mv apache-doris-be-1.1.5 be
  • 进入到be的conf目录下修改配置文件（每个节点)
[whybigdata@node01 conf# vim be.conf  

#配置文件中指定数据存放路径： 
storage_whybigdata_path = /opt/module/doris-1.1.5/doris- storage1;/opt/module/doris-1.1.5/doris-storage2
#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.10.131/24

注意：

  • storage_whybigdata_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状态的分号;分隔（最后一个目录后不要加）。

  • 可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末尾，通过英文状态逗号，隔开，如：

    storage_whybigdata_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

说明：

  • /home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD;
  • /home/disk2/doris.SSD,10，存储限制为 10GB，SSD；
  • /home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD
  • 如果机器有多个 IP, 比如内网外网, 虚拟机 docker 等, 需要进行 IP 绑定，才能正确识别。
  • 分发集群

将node01节点下的be分发到其他两台机器上

在 FE 中添加所有 BE 节点（node01节点执行命令）

因为FE和BE两个都是单独的个体，所以他俩相互之间还不认识，所以BE 节点需要先在FE 中添加，才可加入集群。然后我们通过mysql的客户端将他们建立起联系，即使用 mysql-client 连接到 FE。

安装 MySQL Client

此处默认已经安装了mysql客户端，最主要的就是以下的安装包

mysql-community-client-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-5.7.28-1.el7.x86_64.rpm
使用 MySQL Client 连接 FE
[whybigdata@node01 doris-1.1.5]# mysql -h node01 -P 9030 -uwhybigdata

​

前面已经说过，默认 whybigdata用户 无密码，通过以下命令修改 whybigdata 密码。

mysql> SET PASSWORD FOR 'whybigdata' = PASSWORD('000000');
  • fe启动完成后可以查看fe的运行状态
mysql> SHOW PROC '/frontends';
添加 BE
mysql> ALTER SYSTEM ADD BACKEND "node01:9050"; 
vmysql> ALTER SYSTEM ADD BACKEND "node02:9050"; 
mysql> ALTER SYSTEM ADD BACKEND "node03:9050";
查看 BE 状态
mysql> SHOW PROC '/backends';

​

这里可以在末尾加\G,即： show proc '/backends'\G; 来更好显示方便查看。

启动BE

进入be安装目录下的bin目录，启动 BE（每个节点）

[whybigdata@node01 bin]# ./start_be.sh --daemon
  • 启动后再次查看BE的节点
[whybigdata@node01 ~]# mysql -h node01 -P 9030 -uwhybigdata

mysql> SHOW PROC '/backends';

Alive 为 true 表示该 BE 节点存活。

部署 FS_Broker（可选）

Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

高版本Broker不用手动编译安装，直接启动就可以！！！

  • 启动 Broker
[whybigdata@node01 doris-1.1.5]# /opt/module/doris-1.1.5/fe/apache_hdfs_broker/bin/start_broker.sh --daemon
  • 使用 mysql-client 连接启动的 FE，执行以下命令：
[whybigdata@node01 doris-1.1.5]# mysql -h node01 -P 9030 -uwhybigdata

mysql> ALTER SYSTEM ADD BROKER broker_name "node01:8000","node02:8000","node03:8000";

当然你也可以一个个的加，并且 broker_name 这只是一个名字，可以自己随意取

  • 查看 Broker 状态

使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：

mysql> SHOW PROC "/brokers";

扩容和缩容

FE的扩容和缩容

可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。

使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE

[whybigdata@node01 doris-1.1.5]# mysql -h node01 -P 9030 -uwhybigdata -p 
mysql> SHOW PROC '/frontends'\G;


*************************** 1. row ***************************
             Name: 192.168.10.131_9010_1661510658077
               IP: 192.168.10.131
         HostName: node01
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1133836578
             Join: true
            Alive: true
ReplayedJournalId: 2472
    LastHeartbeat: 2023-01-06 10:17:18
         IsHelper: true
           ErrMsg: 
          Version: 1.1.1-rc03-2dbd70bf9
 CurrentConnected: Yes
1 row in set (0.06 sec)
  • 添加FE的新节点：

FE 分为 Leader，Follower 和 Observer 三种角色。 默认一个集群，只能有一个 Leader,可以有多个 Follower 和 Observer。其中 Leader 和 Follower 组成一个 Paxos 选择组，如果Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步 Leader 的数据，但是不参加选举。

  • 如果只部署一个 FE，则 FE 默认就是 Leader。在此基础上，可以添加若干 Follower 和 Observer。
mysql> ALTER SYSTEM ADD FOLLOWER "node02:9010"; 
mysql> ALTER SYSTEM ADD OBSERVER "node03:9010";
  • 在node02和node03上分别启动FE节点
[whybigdata@node01 doris-1.1.5]# /opt/module/doris-1.1.5/fe/bin/start_fe.sh --helper  node01:9010 --daemon

注意，如果是第一次添加的话，一定要加这两个参数 --helper node01:9010

此时你再去查看FE的状态就发现有3台啦

mysql> SHOW PROC '/frontends'\G;
*************************** 1. row ***************************
             Name: 192.168.10.132_9010_1661490723344
               IP: 192.168.10.132
         HostName: node02
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 0
          RpcPort: 0
             Role: FOLLOWER
         IsMaster: false
        ClusterId: 1133836578
             Join: false
            Alive: false
ReplayedJournalId: 0
    LastHeartbeat: NULL
         IsHelper: true
           ErrMsg: java.net.ConnectException: Connection refused (Connection refused)
          Version: NULL
 CurrentConnected: No
*************************** 2. row ***************************
             Name: 192.168.10.133_9010_1661490727316
               IP: 192.168.10.133
         HostName: node03
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 0
          RpcPort: 0
             Role: OBSERVER
         IsMaster: false
        ClusterId: 1133836578
             Join: false
            Alive: false
ReplayedJournalId: 0
    LastHeartbeat: NULL
         IsHelper: false
           ErrMsg: java.net.ConnectException: Connection refused (Connection refused)
          Version: NULL
 CurrentConnected: No
*************************** 3. row ***************************
             Name: 192.168.10.131_9010_1661510658077
               IP: 192.168.10.131
         HostName: node01
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1133836578
             Join: true
            Alive: true
ReplayedJournalId: 2577
    LastHeartbeat: 2023-01-06 10:23:33
         IsHelper: true
           ErrMsg: 
          Version: 1.1.1-rc03-2dbd70bf9
 CurrentConnected: Yes
3 rows in set (0.04 sec)
  • 删除FE节点命令
mysql> ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port"; 

mysql> ALTER SYSTEM DROP FOLLOWER "node01:9010";

注意：删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点最好为奇数。

BE的扩容和缩容

  • 增加 BE 节点：在 MySQL 客户端，通过以下命令增加 BE 节点。
mysql> ALTER SYSTEM ADD BACKEND  
mysql> ALTER SYSTEM ADD BACKEND "node01:9050";
  • DROP 方式删除 BE 节点（不推荐）
mysql> ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
mysql> ALTER SYSTEM DROP BACKEND "node01:9050";

注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当你使用这个语句时,会有对应的防误操作提示。

  • DECOMMISSION 方式删除 BE 节点（推荐）
mysql> ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port"; 
mysql> ALTER SYSTEM DECOMMISSION BACKEND "node01:9050";

Broker的扩容缩容

Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成：

mysql> ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";  
mysql> ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port";  
mysql> ALTER SYSTEM DROP ALL BROKER broker_name;

Broker 是无状态的进程，可以随意启停。当然，停止后，正在其上运行的作业会失败，重试即可。

全文结束！

WHYBIGDATA
关注
专栏目录
Doris基础篇—安装部署
03-22 3万+
的命令，其实就是扩容，这里我们主要是想通过添加FE ，实现高可用，其实做法很简单，我们分发我们之前的FE 安装包，到我们需要安装的节点，然后按照之前FE 的配置进行配置，然后启动。FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、Observer。Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。
Doris安装部署指南
最新发布
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
09-28 290
通过以上步骤，你可以在CentOS系统上成功安装部署一个基本的Doris集群。Doris的性能与节点数量及配置正相关，建议根据实际业务需求合理规划集群规模。在生产环境中，还需要注意时钟同步、资源竞争和数据备份等问题，以确保集群的稳定性和可靠性。
Doris安装部署
这家伙什么也没留下!
06-09 8314
doris部署
【Doris的安装与部署】
weixin_45363959的博客
05-15 3658
Doris作为一款MPP架构的OLAP数据库，可以在绝大多数主流的商用服务器上运行。
安装doris
Rainbow的博客
06-29 1498
查看cpu支持avx2指令集支持则下载。
【doris的安装部署】
weixin_56425963的博客
03-31 1865
1.下载百度Palo预编译版本，不需要编译源码，直接安装就行。2.下载Apache Doris源码用docker进行编译。
大数据 - Doris系列《二》- Doris安装（亲测成功版）
weixin_40968325的博客
01-04 3070
BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。不认识，所有linux02和linux03的fe及be节点也需要向linux01的fe节点报道，这样才能写进元数据。参数，你将该命令转为在后台以守护进程的形式运行，不再与当前终端关联，因此可以正常结束终端而不影响该进程的运行。原因这可能是因为在非守护（daemon）模式下，该命令在前台运行，占用了终端并阻塞了你的输入。相对较小轻便，省电。
Doris安装
weixin_45012397的博客
05-25 1124
Linux使用交换分区会给Doris带来很严重的性能问题，建议在安装之前禁用交换分区；linux可以把一块磁盘分区当做内存来使用（虚拟内存、交换分区）；交换分区是linux用来当做虚拟内存用的磁盘分区；进入到be的conf目录下修改配置文件。fe启动完成后可以查看fe的运行状态。2. 上传到linux。
Doris安装及使用
djl的专栏，blog.djl.cx好记
08-24 827
Apache Doris 安装和使用
doris 安装部署
2401_84052244的博客
04-26 656
Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、ObserverBE：负责数据的主要存储和计算，以及根据FE生成的物理执行计划，然后进行查询（分布式，多节点并行执行查询，统一汇总）。
doris安装（docker方式）
R_Nelson的专栏
03-12 1456
services:docker-fe:- FE_ID=1ports:volumes:networks:doris_net:docker-be:ports:volumes:networks:doris_net:networks:doris_net:ipam:config:配置解释fe端口映射出来8030是web界面9030是查询端口这里创建了自定义的网络，并指定ipv4的地址池为：172.18.0.0/16fe容器的IP地址是172.18.0.2。
初学者对doris安装及使用
02-12
【初学者对DORIS安装及使用】 DORIS，全称为DORIS Interferometry Software，是一款专门用于干涉合成孔径雷达（InSAR）处理的软件工具。这款软件适用于初学者，提供了详细的安装指南，并能帮助用户解决在不同操作...
Apache Doris安装过程
Im ok的博客哦
11-28 5470
0.系统与版本要求 Linux 操作系统版本需求 Linux 系统 版本 CentOS 7.1 及以上 Ubuntu 16.04 及以上 虽然要求centos7以上，但是实测在centos8安装会出现某些依赖一直安装不上的问题，因此建议安装在centos7上 软件需求 软件 版本 Java 1.8 及以上 GCC 4.8.2 及以上 开发测试环境 模块 CPU 内存 磁盘 网络 实例数量 Frontend 8核+ 8GB+ SSD 或 SATA
doris5.0安装教程
04-14
由于doris5.0.3的版本问题过多，使用非常不方便，没有doris5.0版本稳定，故推荐安装5.0版本
Doris安装部署入门
Aidon博客
07-30 5269
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
最新Doris安装部署（保姆级教程）
热门推荐
u013618714的博客
05-18 1万+
Doris详细部署
(一)、Doris安装使用（基于Doris 2.0.6）
qq_22494169的博客
03-22 4360
​ Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台，单一业务最大可达到上百 TB。​ Apache Doris是一个现代化的MPP （Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析
[Doris] Doris的安装和部署 (二)
959
02-13 2129
Doris的安装与部署
doris初使用--安装
weixin_43870699的博客
08-19 2326
一、docker安装 二
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值