国产Doris数据库调研分析报告（百度）

目录

分布式数仓产品-Apache Doris

Doris在数据流中的定位​

Doris的多种导数方式

Doris发展历程​

Doris总体框架​

Doris内部架构​

Doris核心性能​

Doris数据分区​

Doris多副本存储、自动数据迁移、副本均衡​

Doris数据分片​

Doris存储引擎​

Doris数据模型简介

Doris数据模型- Aggregate模型（一）

Doris数据模型- Aggregate模型（二）

Doris数据模型- Duplicate模型（冗余模型）

Doris数据模型-总结

Doris索引介绍

Doris前缀索引​

Doris前缀索引（匹配规则）​

Doris查询引擎​

---

分布式数仓产品-Apache Doris

• 基于MPP（大规模并行处理）架构的分析型数据库
• 性能卓越，PB级别数据毫秒/秒级响应
• 适用于高并发、低延时下的多维分析、实时报表等场景
• 由百度自研，2017年开源，2018年贡献给Apache社区后更名为Apache Doris
• 百度内部统称其为“数据仓库Palo”，百度智能云上提供Palo的企业级托管版本

Doris在数据流中的定位

Doris的多种导数方式

        Doris中有Routine Load、Broker Load和Stream Load等丰富内置的导数方式：

1. 支持简单过滤和转换函数

2. 可以 容忍少量的数据异常

3. 支持 ACID 和导数幂等性 。

1. Routine Load：当前只支持消费Kafka的实时数据，按每批条数、导入间隔和并发数等设置导数参数。

2. Broker Load ：Doris 集群中一种可选进程，主要用于支持 Doris 读写远端存储上的文件和目录。

        支持以下远端存储：

• Apache HDFS
• 阿里云 OSS
• 腾讯云 CHDFS