Azure （Machine Vision）学习笔记

Azure

Azure 是一个完整的云平台，可以托管你现有的应用程序，简化新应用程序的开发，甚至还可以增强本地应用程序的功能。 在充分利用云计算效率的同时，Azure 集成了开发、测试、部署和管理应用程序所需的各种云服务。

通过在 Azure 中托管应用程序，你可以随着客户需求的增长，从小规模开始轻松扩展应用程序。 另外，Azure 还可以针对高可用性应用程序提供所需的可靠性，甚至包括在两个不同区域之间的故障转移。 通过 Azure 门户，可让你轻松管理所有的 Azure 服务。 同时，你还可以通过使用特定于服务的 API 和模板以编程方式管理你的服务。

Azure Batch

虚拟机集群（可以创建和管理计算机pools），可以通过Batch Explorer工具去管理pools里的pool，pool里会拥有多台虚拟机，可以对在该pool里内的所有虚拟机进行统一使用操作。

pool里的这些虚拟机，主要是根据应用程序或服务给出的作业和任务，虚拟机们按照任务里的要求集体运行，用户则可以通过Batch Explorer工具去监视任务的执行状态。

使用 Azure Batch 在 Azure 中高效运行大规模并行和高性能计算 (HPC) 批处理作业。 Azure Batch 可创建和管理计算节点（虚拟机）池、安装要运行的应用程序，以及计划要在节点上运行的作业。 没有要安装、管理或缩放的群集或作业计划程序软件。 只需使用 Batch API 和工具、命令行脚本或 Azure 门户来配置、管理和监视作业即可。

开发人员可以使用 Batch 作为平台服务，在需要大规模执行的情况下生成 SaaS 应用程序或客户端应用。 例如，可使用 Batch 生成一项服务来为某家财务服务公司运行 Monte Carlo 风险模拟，或者生成一项服务来处理多个图像。

 工作原理图

Azure Data Factory

Azure Data Factory 简称为 ADF

ADF类似于一个pipline的作用，ADF可以从Batch或者存储账户(containers)中取出需要的原始类型数据，而ADF则可以在这些取出的数据内容中，进行数据的处理分析，

1. 用户可以在ADF中activities中拖拽自己需要的activity pipline组件
2. 每一个activity pipline组件中可以定义需要做的详细步骤内容，也可以通过自定义的custom，往里添加自己写好的处理分析代码，并在运行到该过程中执行该段代码
3. 再通过自己的逻辑组合排列，组合成一个完整阶段过程的pipline
4. 在取出存储账户(containers)的原始数据后，取出的所有数据都将会通过该完整pipline处理，符合用户要求的数据将会在最后再存入到存储账户(containers)中
5. 这样用户就可以在存储账户(containers)中拿到自己想要的处理结果

在大数据环境中，原始、散乱的数据通常存储在关系、非关系和其他存储系统中。 但是，就其本身而言，原始数据没有适当的上下文或含义来为分析师、数据科学家或业务决策人提供有意义的见解。

大数据需要可以启用协调和操作过程以将这些巨大的原始数据存储优化为可操作的业务见解的服务。 Azure 数据工厂是为这些复杂的混合提取-转换-加载 (ETL)、提取-加载-转换 (ELT) 和数据集成项目而构建的托管云服务。

工作原理图

直接看比较复杂，只需要理解上述数字序号列表步骤内容，就可以方便自己理解图内的原理内容

Azure Blob Storage

Azure Blob storage 简称 Blob

Blob 可以通过 Azure Storage Explorer工具进行桌面化管理，就像windows中的资源管理器一样，登录自己的存储账户，就可以实现远程管理。

Blob类似于一种网络版的挂载磁盘，对于本地电脑而言，就像一张光盘一样，但是区别在于，它们的数据交互是通过网络来数据传输完成的。

在访问Blob的时候，不能像平常访问本地磁盘那样去访问该地址，而是通过网络请求该磁盘，等该磁盘响应请求后，才能进行数据传输，这块数据传输的代码设计，则需要考虑到网络传输性能的问题，不能大批量发出多次请求，这样很有可能被服务器拒绝访问（需要考虑代码的性能优化）

Azure Blob 存储是 Microsoft 提供的适用于云的对象存储解决方案。 Blob 存储最适合存储巨量的非结构化数据。 非结构化数据是不遵循特定数据模型或定义的数据（如文本或二进制数据）。

Blob 存储资源逻辑图

Blob 存储提供了三种类型的资源：

• 存储帐户
• 存储帐户中的容器
• 容器中的 Blob

以下图示显示了这些资源之间的关系。