阿里云云原生一体化数仓 — 湖仓一体新能力解读

一、基于 MaxCompute 的湖仓一体架构更新

基于MaxCompute 云数据仓库的湖仓一体架构近期进行架构升级。了解 MaxCompute 的同学可能比较清楚，MaxCompute 有两层结构，需要先创建 Project ，在 Project 里面创建表、资源等。传统数据库，在数据库跟表之间有一层 Schema。当前从数据库迁移数据至 MaxCompute 时，有客户对 Schema 这层有诉求。本次架构升级，MaxCompute 升级为三层模型，Table --> Schema --> Project（此功能将在9月上线） 。

对于湖仓一体架构，MaxCompute 是作为仓的存在，使用外部 Schema 对接外部数据源，外部数据源这里称之为Foreign Server，其中包括了 Foreign Data Wrapper 涵盖每一个数据源的连接信息。最早支持的 hadoop 的 hive 数据源，映射 Hive metastore 读写 hdfs 数据。同时可以对接阿里云数据湖构建 Data Lake Formation 产品，DLF 主要的作用是通过扫描 OSS文件，做一个统一的元数据管理和权限管理。我们可以通过 Foreign Server 也就是外部数据源对接 DLF 的元数据，处理 OSS 文件结构。这样就可以对接云上 OSS 数据湖以及开源 Hadoop 生态 hdfs 数据湖。除此之外，也支持阿里云生态内的数仓和数据库，比如 Hologres 、关系型数据库和分析型数据库等。对于外部数据库，是通过 JDBC 协议连接，对于内部生态产品比如 Hologres ，可以做到存储上的直读，从性能是比 JDBC 更快一些。这是利用外部 Schema 对接外部数据源。

对于 OSS 上的一些非结构化数据，可以通过 Mount OSS 路径升级到 MaxCo