Apache Doris入门，下一代实时数据仓库

最新推荐文章于 2024-07-02 15:36:32 发布

Java学研大本营

最新推荐文章于 2024-07-02 15:36:32 发布

阅读量668

点赞数 11

文章标签： apache 数据仓库

本文链接：https://blog.csdn.net/u013643074/article/details/135543803

版权

全方位介绍Apache Doris。

微信搜索关注《Java学研大本营》

1 Apache Doris

Apache Doris是一个开源的实时数据仓库，可以从各种数据源收集数据，包括关系型数据库（MySQL、PostgreSQL、SQL Server、Oracle等）、日志和来自物联网设备的时间序列数据。Apache Doris支持报表、即席分析、联合查询和日志分析等功能，因此可以用于支持仪表盘、自助式商业智能、A/B测试和用户行为分析等应用。

Apache Doris支持批量导入和流式写入，可以与Apache Spark、Apache Hive、Apache Flink、Airbyte、DBT和Fivetran等工具很好地集成。Apache Doris还可以连接到Apache Hive、Apache Hudi、Apache Iceberg、Delta Lake和Apache Paimon等数据湖。

2 性能

作为实时OLAP引擎，Apache Doris在查询速度上具有竞争优势。根据TPC-H和SSB-Flat基准测试结果，Doris的性能远远超过了Presto、Greenplum和ClickHouse。

在自我演进方面，过去两年中，Doris在复杂查询和平面表分析方面的查询速度提高了10倍以上。

3 架构设计

Apache Doris之所以能够实现如此快速的速度，是因为其背后的架构设计、特性和机制对Doris的性能起到了贡献。

首先，Apache Doris拥有一个基于成本的优化器（CBO），可以找出复杂大查询的最高效执行计划。它拥有完全向量化的执行引擎，因此可以减少虚拟函数调用和缓存未命中。Apache Doris是基于MPP（Massively Parallel Processing）的，可以充分发挥用户的计算机和核心的作用。在Doris中，查询执行是数据驱动的，这意味着查询是否执行取决于其相关数据是否准备就绪，这样可以更高效地利用CPU。

4 基于列的数据库的快速点查询

Apache Doris是一种面向列的数据库，因此可以更轻松、更快速地进行数据压缩和数据分片。但是，在面向客户服务等场景中，这种存储方式可能不太适用。在这些情况下，数据平台需要同时处理大量用户的请求（称为“高并发点查询”），而列存储引擎会增加每秒I/O操作的数量，特别是在数据以平面表的形式排列时。

为了解决这个问题，Apache Doris实现了混合存储，即同时使用行存储和列存储。

此外，由于点查询都是简单查询，调用查询计划器将是不必要和浪费的，所以Doris对它们执行了短路计划，以减少开销。

在高并发点查询中，另一个开销较大的来源是SQL解析。为此，Doris引入了预编译语句的概念。其思想是预先计算SQL语句并缓存它们，以便在类似查询中重复使用。

5 数据采集

Apache Doris提供了多种数据导入方法。

实时流写入：

Stream Load：通过该方法，可以通过HTTP编写本地文件或数据流。在某些情况下，它具有线性可扩展性，并且可以达到每秒1000万条记录的吞吐量。
Flink-Doris-Connector：该连接器内置Flink CDC，可以将数据从OLTP数据库导入Doris。到目前为止，我们已经实现了从MySQL和Oracle到Doris的数据自动同步。
Routine Load：通过该方法，可以从Kafka消息队列订阅数据。
Insert Into：当尝试在Doris内部进行ETL时，例如从一个Doris表写入另一个Doris表时，可以使用此方法。

批量写入：

Spark Load：使用该方法，您可以利用Spark资源在写入Doris之前对HDFS和对象存储中的数据进行预处理。
Broker Load：支持HDFS和S3协议。
insert into <internal table> select from <external table>：这个简单的语句允许您将Doris连接到各种存储系统、数据湖和数据库。

6 数据更新

对于数据更新，Apache Doris提供的是对Merge on Read和Merge on Write的支持。前者用于低频批量更新，后者用于实时写入。通过Merge on Write，最新的数据将在执行查询时准备就绪，这就是为什么与Merge on Read相比，它可以将查询速度提高5到10倍的原因。

从实现的角度来看，以下是一些常见的数据更新操作，Doris都支持：

Upsert：替换或更新整行数据
部分列更新：更新行中的几个列
条件更新：通过组合几个条件来过滤出一些数据，以进行替换或删除
Insert Overwrite：重写表或分区

在某些情况下，数据更新是并发发生的，这意味着有大量新数据进来并试图修改现有的数据记录，因此更新的顺序非常重要。这就是为什么Doris允许您决定顺序，可以根据事务提交的顺序或序列列（在表中提前指定）来决定顺序。Doris还支持基于指定谓词的数据删除，这就是条件更新的实现方式。

7 服务可用性和数据可靠性

除了在查询和数据采集方面具有快速性能外，Apache Doris还提供了服务可用性保证，具体如下：

从架构上来说，Doris有两个进程：前端和后端。它们都可以轻松扩展。前端节点管理集群、元数据并处理用户请求；后端节点执行查询，并具备自动数据平衡和自动恢复的能力。它支持集群升级和扩展，以避免服务中断。

8 跨集群复制

企业用户，尤其是金融或电商领域的用户，需要备份集群或整个数据中心，以防不测之需。因此，Doris 2.0提供了跨集群复制（CCR）。使用CCR，用户可以实现以下功能：

灾难恢复：快速恢复数据服务
读写分离：主集群+从集群；一个用于读取，一个用于写入
集群的隔离升级：对于集群扩展，CCR允许用户预先创建一个备份集群进行试运行，以便清除可能的不兼容问题和错误。

测试表明，Doris CCR可以达到几分钟的数据延迟。在最佳情况下，它可以达到硬件环境的最高速度。

9 多租户管理

Apache Doris具有复杂的基于角色的访问控制，并且可以对数据库、表、行和列进行细粒度的权限控制。

为了资源隔离，Doris过去实施了硬隔离计划，即将后端节点划分为资源组，并将资源组分配给不同的工作负载。这是一个硬隔离计划。它简单而整洁。但是有时用户可以充分利用他们的计算资源，因为一些资源组是空闲的。

因此，Doris 2.0引入了工作负载组，而不是资源组。为工作负载组设置了软限制，限制其可以使用的资源数量。当达到软限制时，同时有一些空闲资源可用。空闲资源将在工作负载组之间共享。用户还可以根据对空闲资源的访问优先级来对工作负载组进行优先级排序。

10 易于使用

Apache Doris提供了许多功能，同时也非常易于使用。Apache Doris支持标准SQL，并兼容MySQL协议和市场上的大多多BI工具。

为了提高易用性，引入了一个名为轻量级模式更改（Light Schema Change）的功能。这意味着如果用户需要在表中添加或删除某些列，他们只需要在前端更新元数据，而无需修改所有数据文件。轻量级模式更改可以在毫秒级内完成。它还允许更改索引和列的数据类型。轻量级模式更改与Flink-Doris-Connector的结合意味着上游表格的同步可以在毫秒级内完成。

11 半结构化数据分析

半结构化数据是常见的数据类型，其中包括日志、可观测性数据和时间序列数据等。这些数据具有一定的结构，但不符合传统的关系型数据库的严格模式。处理这些数据时，需要支持无模式的灵活性、低成本存储以及多维分析和全文搜索等功能。

在文本分析中，使用LIKE运算符是常见的操作。为了提高性能，我们进行了大量的优化工作。其中一项优化是将LIKE运算符下推到存储层，以减少数据扫描的量。此外，我们还引入了NGram Bloomfilter、Hyperscan正则表达式匹配库和Volnitsky算法等技术，用于更高效地进行子字符串匹配操作。这些优化措施可以改善文本分析的性能和效率。

这里还引入了倒排索引用于文本标记化。它是模糊关键字搜索、全文搜索、等价查询和范围查询的有力工具。

12 数据湖仓库

为了让用户构建高性能的数据湖仓库和统一的查询网关，Doris 可以映射、缓存和自动刷新来自外部源的元数据。它支持 Hive Metastore 和几乎所有开放的数据湖仓库格式。您可以将其连接到关系型数据库、Elasticsearch 和其他许多源。它还允许您重用自己的身份验证系统，如 Kerberos 和 Apache Ranger，用于外部表。

基准测试结果显示，Apache Doris 在对 Hive 表进行查询时比 Trino 快 3~5 倍。这是几个特性的共同结果：