DataLake in Azure

Azure Data Lake包括所有所有的功能，使开发人员、数据专家和分析师可以更轻松的存储任何大小、形状和速度的数据以及跨平台和语言进行各种类型的处理和分析。它消除了插入和存储所有数据的复杂性，同时启动更快，可与批量、流式、交互式分析一起运行。Azure Data Lake与现有IT投资一起工作以进行简化数据管理和监管的识别、管理和安全防护工作。同时与操作存储区和数据仓库无缝集成，以便可以扩展当前数应用程序。Azure Data Lake的架构图如下所示：

Azure Data Lake底层使用与HDFS兼容的分布式文件系统存储PB级别的数据，并且提供在PB级别数据上进行的数据分析系统，可以为Website Analytics、IOT等应用提供低延迟，近实时的数据处理。在Azure Data Lake中存储各种格式的原生数据，包括结构化、半结构化和非结构化的数据，这些数据通过ADL实现三副本，同时保证数据的安全性和通过Azure Active Direcoty实现数据使用的标识、认证功能。Azure Data Lake主要包括三个部分：

1） Azure Data Lake Store

一个企业范围的超大规模存储库，适用于大数据分析工作负荷，使用ADL可以在单个位置捕获任何大小、类型和引入速度的数据进行操作和探索分析。使用WebHDFS兼容的REST API，可以从Hadoop（HDInsight集群提供）访问Azure Data Lake Store。

Azure Data Lake Store是一个Apache Hadoop文件系统，该系统与HDFS兼容并与Hadoop生态系统一起工作，提供无限存储空间，适合用于存储各种分析数据，支持KB到PB量级的单个文件大小，非常适合各种用于存储任何类型的数据。通过创建多个副本长期存储数据。ADL Store可按原生方式存储任何数据，不需要实现经过转换。加载数据之前，Data Lake Store不需要定义架构，而是等待独立的分析框架在分析时解释数据和定义架构。

ADL Store使用Azure Active Directory进行身份验证，使用ACL管理数据访问。

 

2） Data Lake Analytics

Azure Data Lake Analytics是一项按需分析作业服务，用户简化大数据分析。用于可以专注于编写、运行和管理作业，而不是运行分布式基础架构。无需部署、配置和调整硬件，只需编写查询即可转换数据并提取有价值的见解。关键功能如下：

Ø 动态缩放，针对云缩放和性能需求进行构建，动态地预分配资源并让用户以KB甚至PB字节为单位进行分析。当作业完成，自动释放资源。增加或者减少存储数据的大小或使用计算资源量时无需重写代码，用户可仅关注自己的业务逻辑，而非处理处理和存储大数据集。

Ø 使用熟悉的工具更快开发、更智能调试和优化，与Visual Studio深度集成

Ø U-SQL，扩展SQL的查询语言

Ø 与IT投资无缝集成等。

 

3） Azure HDInsight

Azure HDInsight是HDP提供的Hadoop组件的云发行版，可以通过HDInsight轻松、快速且经济有效的处理大数据数据，可以使用Hadoop、Spark、Hive、LLAP、Kafka等最常用的开源框架。如下图所示：

使用HDInsight的方案可以汇总成以下类别：

• 批处理（ETL），将非结构化和结构化数据从异类数据源中提取，转换成某种结构化格式，然后加载到数据存储中这一过程，转换的数据用于数据科学或数据仓库
•  物联网（IOT），使用HDInsight处理从各种设备实时接收到的流数据，结构如下图：

• 数据科学，可以使用HDInsight生成从数据中提取关键见解的应用程序，如下图所示：

• 数据仓库，可以使用HDInsight对任何格式的结构化或非结构化数据执行PB规模的交互式查询，也可以通过生成模型将其连接到BI工具：
• 
• 混合，使用HDInsight将现有的本地大数据基础结构扩展到Azure，充分利用云的高级分析功能
•