Apache Superset与数据湖引擎

数据湖是数据的存储库和处理引擎，可以大规模地存储各类数据，具有很强的信息处理能力，能处理几乎无限的并行任务或工作。本章介绍Apache Superset如何集成Dremio数据仓库，并通过实际案例进行演示。

 

 13.1　数据湖引擎

数据湖主要解决了数据仓库中存在的开发周期长、维护费用高、数据丢失等问题。

13.1.1　数据湖引擎概述

数据湖是一种在系统或存储库中以格式化的方式存储数据的方法，可以对数据进行多种模式和结构形式的配置。Pentaho的创始人兼CTO詹姆斯·狄克逊对数据湖的解释是：将之前在数据库上拥有的内容倒进数据湖，并开始探索这些数据。

以图形化描述数据湖，用湖泊来代表存储数据的平台，流入湖泊的水代表了未经过处理的原始数据，包括表格、文本、声音、图像等。湖里的水代表存储的各类数据，数据湖可对湖内的数据进行处理、分析、建模、加工，经过处理的数据仍可留在湖里。流出的水代表经过分析后，工作中所需要的各类数据，再到达客户端，提供信息或得出结论。

数据湖的基本思想是：直接使用各种类型、不同领域的原始数据，包括结构化数据、半结构化数据、二进制数据，构成一套可容纳各种形式数据的集中式数据存储系统。该系统具有巨大的数据存储规模、T级的运算能力、多样化的数据信息交叉分析能力和大容量、高速的数据管道。数据湖主要思想如图13-1所示。

 图13-1  数据湖主要思想

数据湖的价值不仅在于能存储数据，而且能以存储的大量数据为基础，并对数据进行分析。然而，如果没有适当的数据管理和维护机制，数据湖就会转变成“数据沼泽”。目前，数据湖核心技术的安全性还需要进一步提升，对数据进行分类和保护需要有明确的机制。这就需要对完善数据湖的结构，建立数据维护、管理机制，提高数据安全等问题做进一步研究。

由于编者水平所限，书中难免存在错误和不妥之处，请广大读者批评指正，作者微信公众号：Hanalyst。