doris调研

Doris是一个基于MPP的交互式SQL数据仓库,主要用于OLAP数据分析,支持聚合和明细查询。它融合了Google Mesa和Apache Impala的技术,具备高可用和可扩展的架构。元数据全内存管理,由FE(前端)和BE(后端)组成。FE分为leader和observer,负责元数据操作和读服务,BE则负责数据存储和SQL执行。Doris的元数据写操作通过日志复制和回放同步,BE处理数据存储和查询。
摘要由CSDN通过智能技术生成

一、官方定位

“Doris is a MPP-based interactive SQL data warehousing for reporting and analysis.” Doris 是一个用于报告和分析的基于 MPP 的交互式 SQL 数据仓库。

Doris 主要集成了 Google Mesa 和 Apache Impala 的技术。

 

二、主要用途

提供 OLAP 数据分析。(同时支持聚合和明细查询分析)

 

三、实现原理

架构

Doris 的整体架构分为两层。多个 FE 组成第一层,提供 FE 的横向扩展和高可用。多个 BE 组成第二层,负责数据存储于管理。

FE 节点分为 follower 和 observer 两类。follower 节点通过选举,其中一个 follower 成为 leader 节点,负责元数据的写入操作。当 leader 节点宕机后,其他 follower 节点会重新选举出一个 leader,保证服务的高可用。observer 节点仅从 leader 节点进行元数据同步,不参与选举。可以横向扩展以提供元数据的读服务的扩展性。

后端守护进程负责数据存储和执行 SQL 查询。可以部署多个后端守护进程以提供可伸缩性和容错性

前端(FE)

元数据

Doris 的元数据是全内存的。每个 FE 内存中,都维护一个完整的元数据镜像。

Doris 的元数据主要存储4类数据:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值