【AI】微软人工智能学习笔记（一）

数据分析平台

01|数据平台概况图示

 上面图中所示就是微软人工智能数据平台的相关的技术。

 

02.1| Cortana Intelligence Suite

从上面图中可以看到， 其中有一个Cortana Intelligence Suite，翻译过来叫做人工智能套件， 是微软在azure上面对于人工智能的一整套套件。

 

 

02|Azure数据湖泊

　　　　数据湖泊解决方案

数据湖泊的解决方案是目前很火的一个解决方案， 主要分为三个步骤， 导入， 存储， 以及分析。其中导入的数据类型可以支持很多种并且存储支持这些数据类型的原生态类型的存储。从分析来看就是会涉及到批处理，交互查询等。

上图中我们看到的azure数据湖泊就是搭建在azure云上的数据湖泊，主要是两个组件： data lake store以及data lake analytics， 学到这个data lake analytics的时候我觉得以后我的工作好像就是跟这个相关的。 它是基于一个开源的YARN的框架，以job和Service提供的数据分析和查询的服务， analytics job as a Service。

无限量体现在以下几个概念： 1.对于单个文件的大size的存储。 2.对于存储数量的方面很大。3. 支持大规模吞吐量并行分析。 4.数据按照原始格式存储，无需重新设计。5.数据导入的方式多样性

job as service的理念的由来是来自于Saas的模式。用户不需要考虑硬件方面以及配置，只需要focus在数据上。U SQL = T SQL + C# || Python，R Library。支持远程查询。

上图技术层面介绍ADLA。

 

 

03|HDInsight，Spark & R Service

03.1 | HDInsight：

大数据分析的三种使用场景

1. Batch analytics， 有个短板就是有个delay。

2. Interactive analytics， 基于大数据的

3. RealTime analytics， 适时分析，物联网。kafka实践采集之后使用流分析，最后使用ML将结果发布。

 

 

03.2| Spark

这三种使用场景中都用到了 Apache Spark, 下面来介绍一下：

基于spark可以做到下面这些案例，应用很广， 所以显得spark很重要

spark涉及到的算法也都是大数据分析人工智能领域核心的算法：

所以关于spark这里就不多赘述，会在以后的学习中进行系统的学习研究，

 

 

 03.3| R Server

这个技术同样我也没有研究过， 这个貌似是一个关于数据计算的技术吧。

 

 

03.4| R 与Spark是如何交互的

 

04|Azure Machine Learning Studio

 在azure上面基于图形界面实现的创建和操作ML工作流的集成开发环境，

 

转载于:https://www.cnblogs.com/it-dennis/p/9675113.html