湖仓一体，Hologres加速云数据湖DLF技术原理解析

阿里云大数据AI技术

已于 2022-04-20 16:49:14 修改

阅读量2.5k

点赞数

文章标签： sql 大数据分布式

于 2022-04-20 10:08:32 首次发布

本文链接：https://blog.csdn.net/weixin_48534929/article/details/124290228

版权

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断优化核心技术竞争力，为了让大家更加了解Hologres，我们计划持续推出Hologres底层技术原理揭秘系列，从高性能存储引擎到高效率查询引擎，高吞吐写入到高QPS查询等，全方位解读Hologres，请大家持续关注！

往期精彩内容：

本期我们将带来Hologres高性能分析引擎加速查询云数据湖DLF的技术原理解析。

随着云服务被接受的程度不断提升，云用户日益愿意将其收集的数据存储在低成本的对象存储里，比如OSS，S3等。与此同时，基于云的数据管理方式也得到相应的推广，元数据也不断存储在阿里云DLF（Data Lake Formation）上。OSS和DLF的结合成就了一种新的数据湖搭建方式。这种基于云存储的数据湖集累的数据规模也不断增长，相应的湖仓一体的需求也孕育而生。湖仓一体架构基于开放格式的外部存储，以及高性能的查询引擎，让数据架构灵活、可扩展、可插拔。

Hologres在湖仓一体场景上与DLF天然无缝融合，无需数据导入导出就能实现加速查询由DLF管理存储在OSS的数据，全面兼容访问各种DLF支持文件格式，实现对PB级离线数据的秒级和亚秒级交互式分析。而这一切的背后，都离不开Hologres的DLF-Access引擎，通过DLF-Access实现对DLF元数据以及背后的OSS数据进行访问。另外，通过结合Hologres高性能分布式执行引擎HQE的处理，访问DLF/OSS的性能得到进一步提高。

Hologres加速查询DLF/OSS主要有以下几个优势：

高性能：可以直接对DLF/OSS数据加速查询，具有秒级响应的查询性能，在OLAP场景可以直接即席查询，满足绝大多数报表等分析场景。
低成本：用户在在DLF/OSS上存储的大量数据，无需迁移和导入数据而由Hologres直接进行访问。在享受云数据湖的低成本基础之上，也避免了数据迁移成本。
兼容性：可以实现以高性能和全兼容的方式访问各种DLF文件格式，支持CSV、Parquet、ORC、Hudi、Delta等格式（其中Hudi、Delta在1.3版本支持）。而这些文件格式又是通用数据湖兼容的。