2024年大数据最新Doris使用总结_doris 客户端工具

Doris的系统架构组成主要有：
BackEnd(后端节点)，简称BE。
FrontEnd（前端节点），简称FE。
bdbje(BerkekeyDB Java Edition)，负责元数据操作日志的持久化、FE 高可用等功能。

FE

主要负责查询的编译，分发和元数据管理。
FE 包含的三种角色的理解
leader跟follower，主要是用来达到元数据的高可用，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务。
observer只是用来扩展查询节点，就是说如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加observer的节点。observer不参与任何的写入，只参与读取。

（1）管理元数据（库, 表, 分区, tablet副本等信息）, 执行SQL语句命令。
（2）FE高可用部署, 使用复制协议选主和主从同步元数据, 所有的元数据修改操作, 由FE Leader节点完成, FE Follower节点可执行读操作。 元数据的读写满足顺序一致性。  FE的节点数目采用2n+1, 可容忍n个节点故障。当FE Leader故障时, 从现有的Follower节点重新选主, 完成故障切换。
Observer节点仅从 Leader节点进行元数据同步，不参与选举。能够横向扩展以提供元数据的读服务的扩展性。
（3）FE的SQL layer对用户提交的SQL进行解析, 分析, 语义分析和关系代数优化, 生产逻辑执行计划。
（4）FE的Planner负责把逻辑计划转化为可分布式执行的物理计划, 分发给一组BE。
（5）FE监督，管理BE的上下线, 根据BE的健康状态和存活数, 维持tablet副本的数量。
（6）FE协调数据导入, 保证数据导入的一致性。

BE

主要负责数据的存储、以及查询计划的执行
（1）BE管理tablet副本, tablet是table经过分区分桶形成的子表, 采用列式存储。
（2）BE受驱动FE, 创建或删除子表。
（3）BE接收FE分发的物理执行计划并指定BE coordinator节点, 在BE coordinator的调度下, 与其他BE worker共同协作完成执行。
（4）BE读取本地的列存储引擎获取数据,并通过索引和谓词下沉快速过滤数据。
（5）BE后台执行compact任务, 减少查询时的读放大。
（6）数据导入时, 由FE指定BE coordinator,将数据以fanout的形式写入到tablet多副本所在的BE上。

来源：

Apache Doris 为分析而生：Doris 架构_大数据左右手的博客-CSDN博客

Doris架构原理_959y的博客-CSDN博客

安装Docker环境

Docker 要求 CentOS 系统的内核版本高于3.10 ，首先查看系统内核版本是否满足

配置Docker Swarm

节点准备

准备搭建一个跨主机的集群

192.168.10.152