LakeHouse湖仓一体成为下一站灯塔，数仓、数据湖架构即将退出群聊

摘要：

当前的大数据技术应用趋势表明，客户对单一的数据湖和数仓架构并不满意。近年来几乎所有的数据仓库都增加了对Parquet和ORC格式的外部表支持，这使数仓用户可以从相同的SQL引擎查询数据湖表，但它不会使数据湖表更易于管理，也不会消除仓库中数据的ETL复杂性、陈旧性和高级分析挑战。

KeenData LakeHouse（湖仓一体）作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的下一站灯塔。 

KeenData LakeHouse（湖仓一体）可定义为基于低成本，可直接访问存储的数据管理系统，它结合了数据湖和数据仓库的主要优势，开放格式的低成本存储可通过前者的各种系统访问，而后者则具有强大的管理和优化功能。数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为企业的数据治理带来更多的便利性。

01

企业数据架构发展史

第一阶段：传统数仓

传统数据仓库是指从业务数据中创建信息数据库，将业务数据库的数据收集到集中式仓库来帮助企业领导者获得分析见解，然后将其用于决策支持和商业智能，它是单个数据存储，出于分析性报告和决策支持目的而创建。

传统数仓存储的数据类型，主要是以关系型数据库组织起来的结构化数据。数据通过转换、整合以及清理，导入到目标表中。在数仓中，数据存储的结构与其定义的schema是强匹配的。针对实时数据处理，非结构化数据处理能力较弱，以及在数据量支持方面相对有限。

第二阶段：数据湖

数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施，它就像一个大型仓库存储企业多样化原始数据以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理。拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。