DataLake in AWS

在AWS上的Data Lake实现的功能如下：

Ø 低成本的存储任何规模的所有类型数据

Ø 保护数据并防止其受到未经授权的访问

Ø 在一个集中式存储库对相关数据进行编目、搜索和查找，

Ø 轻松的执行新类型的数据分析，

Ø 使用一系列分析引擎，用于临时分析、实时流式处理、预测性分析、人工智能和机器学习

数据库补充和扩展现有的数据仓库，如果正在使用数据仓库，可以将数据湖用作结构化数据和非结构化数据的来源。基于AWS构建的Data Lake框架如下图所示：

使用Amazon S3作为Data Lake的数据存储系统，在S3中存储和计算解耦，并可以与所有的AWS analytic service结合使用。在Data Lake中主要的难点在于获取数据及解析数据的Schema和格式，AWS提供AWS Glue来从S3中解析业务逻辑中的数据，其自动的抓取S3数据、标识数据格式，然后为其他AWS提供数据的Schema，其提供的功能如下：

Ø Discover data with search

Ø Identify and parse files with classification

Ø Manage chaning schemas with versioning

AWS Glue作为Amazon S3 数据湖的主要组件，提供数据data catalog和数据分析中的数据转换，如下图所示：