本文属于【Azure Data Platform】系列。
由于工作需要,把日常学习实践记录成系列文章,希望对有需要的读者有所帮助。
关于对数据的使用,除了存储(数据库),还有收集(ETL/ELT等)及分析。本系列文章把精力集中在Azure的ETL工具Azure Data Factory(ADF)中。
前言
作为一个数据平台解决方案,数据收集是其中一个必要的部分。 在选择数据收集工具时,有几个点需要考虑(假定你的环境是基于云,这里的Azure):
- 是否使用平台提供的?有很多厂商都提供了本地版和基于云版本的工具。如何选择需要多方考虑,特别是企业既定的策略。
- 时效性:传统ETL工具通常都是T+1,延时比较严重,对于当今的环境而言,有点不太适合了。不过具体还是需要根据项目而定。
- 费用:当然,免费的工具就不建议商用了。
ADF简介
根据企业的策略,本人所属项目以ADF为ETL工具,那么接下来的系列文章将会以它为主进行介绍和演示。那么我们首先要搞清楚ADF这个ETL工具能做什么?
官方的介绍就不贴上来了,这里抽取其最重要的亮点:在本地和云环境中复制和传输数据,这是很多混合云环境在数据同步过程中的痛点之一。
SQL Server 用户应该听过SSIS(SQL Server Integration Services), ADF并不是云版本的SSIS, 它并没有非常强地绑定到