【遇见Doris】6.29线下开发者沙龙分享--Doris主创团队

最新推荐文章于 2024-06-12 08:44:37 发布

ApacheDoris

最新推荐文章于 2024-06-12 08:44:37 发布

阅读量445

点赞数

文章标签：大数据 python java 数据库编程语言

本文链接：https://blog.csdn.net/ucanuup_/article/details/114976460

版权

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。关注Doris官方公众号，后台回复“0629”即可获取各位嘉宾分享PPT及现场录像。

今天是李超勇同学代表Doirs主创团队带来的关于Apache Doris (incubating) 0.11.0 版本的功能预览。

本次Doris带来了如下更新：

存储引擎的重构与优化
打通Spark和Doris
SQL支持Grouping Sets语法
支持读取Parquet文件格式
新增空间几何函数

下面将为大家具体进行介绍。

存储引擎的重构与优化

Doris存储引擎历经几代人的修改演进，功能丰富的同时，也积攒了不少历史沉疴，代码结构臃肿、晦涩，逻辑层次不清，维护工程十分浩大。鉴于此目的，Doris在0.11中对存储引擎进行了大规模重构，重新组织了各个功能模块，以及各个对外交互的接口。新的引擎将为后续存储计算分离，以及相关引擎优化打下良好的基础。

存储引擎重构重构的背景可以简单描述如下：

命名混乱，言不达意。例如大面积地出现table，tablet混用的情况，令人疑惑。
代码封装层次混乱，相互之间大量耦合，不易于阅读与维护。
锁缺乏统一的调度管理机制，难以有效避免死锁、锁泄漏等情况的发生。

本次重构目标是Apache Doris的单机存储引擎，单机存储引擎的主要任务有：

维护所有的tablet信息，包括tablet的状态，数据等。
调度和tablet相关的操作，包括create table/load/compaction/clone/schemachange等操作，以及操作之间的相互并发。
处理和tablet相关的异常，包括操作本身的异常，以及文件系统异常。
汇报引擎的状态信息给FE，保持和FE之间的心跳连接。

为完成上述任务，本轮重构重新组织划分了存储引擎各个模块，如上图所示。

最上层打算提供统一的Service层作为单机引擎的入口，调度执行各类操作。
中间是存储引擎内部数据与状态的管理。包括tablet管理，rowset管理，事务管理等。
最下层是文件系统适配层及元数据系统层。目前Doris只支持posix文件接口，后续上云可以扩展其他文件接口。
贯穿的错误处理机制。存储引擎总是面临着各类错误，包括I/O Error, File System Error等，不论在哪个层次之中发生错误，皆需要进行错误处理。为统一所有的错误处理逻辑，Doris提供统一的错误队列，贯穿各个层次，接收错误信息，触发错误处理机制。

对于存储引擎而言，最重要的操作就是读和写，compaction/clone/schemachange都架构在读写流程之上，看懂读写也就看懂了存储引擎。这里着重介绍重构之后的读取逻辑，写基本可以认为是读的对称映像。

Doris 0.11启用Iterator机制抽象从Column，到Segment，到Rowset的读取。在Rowset模块之上再根据读取的不同需求，提供Merge/Union Iterator。通过这样的层次，十分清晰地描绘了整个读取逻辑, 能以更加高效简单的方式读取不同版本的数据。

打通Spark和Doris

打通Apache Spark和Doris主要原因是为了统一数据分析和数据仓库，简化整个数据流向，尤其是简化云上各个产品之间的数据流向。Doris 0.11目前只支持Spark读取Doris的数据，后续会实现Spark直接离线生成Doris的存储文件，将读写都与Spark打通。

具体架构如上图。

左边是Spark的架构，右边是Doris的架构，箭头代表数据的流向。首先Spark会从Doris的FE里获取元数据、表的schema信息及表的位置。其次会调取be节点拉取数据，之后即可应用Spark进行大规模离线计算。

SQL支持Grouping Sets语法

Grouping Sets属于Group By的扩展，扩展了Group By的分组集合的能力。

经常对数据进行聚合分析的用户，可能面临着如下的场景，既需要对A列做聚合，也要对B列做聚合，同时要按照A，B两列一起做聚合。

没有Grouping Sets之前，业务方需要在单个SQL中写三个UNION ALL语句才能完成此项功能，而使用Grouping Sets则可以非常快速方便地解决此类问题。Grouping Sets之上，Doris 0.11也同步支持了CUBE，ROLLUP等Grouping Sets的语句扩展，更好地满足业务方进行各类聚合分析的需求。

支持读取Parquet文件格式