Doris安装部署

最新推荐文章于 2024-08-22 10:21:43 发布

7_Years

最新推荐文章于 2024-08-22 10:21:43 发布

阅读量1.5k

点赞数 51

文章标签：大数据

本文链接：https://blog.csdn.net/weixin_64261178/article/details/140637355

版权

集群部署

hadoop102	hadoop103	hadoop104
FE(LEADER)	FE(FOLLOWER)	FE(FOLLOWER)
BE	BE	BE

操作系统安装要求

设置系统最大打开文件句柄数(注意这里的*不要去掉)

设置最大虚拟块的大小

配置完记得重启

下载安装包

根据自己的需要，下载合适的安装包

Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

x86_64架构 cpu（intel，amd),执行命令

如果能看到avx2 字样选择带 avx2 的包，否则选择不带 avx2

arm64 架构 cpu（apple），选择 arm64 的安装包下载

解压

安装fe

安装be

安装其他依赖（java udf 函数）

改名

并移动jar包

配置FE

配置完成后启动Fe

页面访问，因为是第一次登录没有密码只需添用户

到这里Fe就配置完成了

配置BE

修改be.conf文件

、

安装mysql客户端

http://t.csdnimg.cn/SAjZm

使用 Mysql 客户端连接到 FE

mysql -hhadoop102 -P9030 -uroot

-P 指定端口(注意这里 P 是大写, 小写 p 用来指定密码)

FE 默认没有密码

设置密码

添加 BE

启动be

查看状态

上面完成后就可以简单使用了。

对be进行扩容

首先在mysql中执行

在这两台节点解压be然后把jar包分发到这两台节点

对两台节点进行配置

修改be.conf文件

、

查看

到这就扩容完成了

对be进行缩容

DROP方式删除BE节点（不推荐）

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

注意：DROP BACKEND 会直接删除该BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除BE节点。当你使用这个语句时，会有对应的防误操作提示

DECOMMISSION 方式删除BE节点（推荐）

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

该命令用于安全删除BE节点。命令下发后，Doris 会尝试将该BE上的数据向其他BE节点迁移，当所有数据都迁移完成后，Doris会自动删除该节点。
该命令是一个异步操作。执行后，可以通过 SHOW PROC '/backends'; 看到该 BE 节点的isDecommission状态为true。表示该节点正在进行下线。
该命令不一定执行成功。比如剩余BE存储空间不足以容纳下线BE上的数据，或者剩余机器数量不满足最小副本数时，该命令都无法完成，并且BE会一直处于 isDecommission为true的状态。

DECOMMISSION的进度，可以通过SHOW PROC '/backends'; 中的TabletNum查看，如果正在进行，TabletNum将不断减少

该操作可以通过如下命令取消：

CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

取消后，该BE上的数据将维持当前剩余的数据量。后续Doris重新进行负载均衡

对Fe进行扩容

查看Fe状态

show proc '/frontends';

将fe在另外两台节点解压

改名

将第一台节点的fe配置文件分发到这两台节点

增加FE节点

FE分为Leader，Follower和Observer三种角色。默认一个集群只能有一个Leader，可以有多个Follower和Observer。其中Leader和Follower组成一个Paxos选择组，如果 Leader宕机，则剩下的Follower 会自动选出新的Leader，保证写入高可用。Observer 同步 Leader的数据，但是不参加选举。