【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。

前言

在开发好一个ADF pipeline（功能）之后，需要将其按需要运行起来，这个称之为调度。下图是一个简单的ADF 运作图， 按照需要的顺序，由某个程序或者人，调度Data Factory Service里面的pipelines。这些pipelines是在Data Factory Service中定义和存储的。然后通过pipeline中具体的活动（Activity，比如copy）访问Linked Services， 然后从Source中获取数据，写入Sink中。

简要说明途中几个关键组件：

Linked Service: 与外部资源的连接。
Dataset: 链接服务器指定了连什么资源，而Dataset指定了资源怎么展示。 Dataset可以是DB 里面的表（或子集）， 也可以是ADLS 上CSV文件的列，格式定义等。
Integration Runtime: 实际上就是计算引擎，ADF是一个云“服务”， 它更偏向于设计和调度，并不适合做太多运算， 所以需要借助外部资源来实现。这就是所谓的集成运行时（Integr