【Azure 架构师学习笔记】-Azure Data Factory (5) --Data Flow

最新推荐文章于 2024-10-26 13:56:42 发布

發糞塗牆

最新推荐文章于 2024-10-26 13:56:42 发布

阅读量1.3k

点赞数

分类专栏： Azure 架构师学习笔记 Azure 文章标签： azure Data Factory

本文链接：https://blog.csdn.net/DBA_Huangzj/article/details/133575184

版权

本文是Azure架构师学习笔记系列的一部分，详细介绍了ADF中的Data Flow活动，包括其功能、费用和安全性考虑。Data Flow是ADF中用于数据转换的强大力量，使用Azure Integration Runtime (AIR) 运算，但需要注意费用问题，因为其基于Databricks集群运行。此外，由于默认通过公网访问，可能带来安全风险，需要采取措施确保安全性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。
接上文【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器

前言

Azure Data Factory， ADF 是微软Azure 的ETL 首选服务之一，是Azure data platform中的一种PaaS，托管的， Serverless的服务。通过把ETL功能封装在各种类型的Pipeline中并按需执行，从而实现数据的传输和转换。
我们常说的ADF，准确的叫法是ADF instance，常规用法是搭配装有Self-hosted integration runtime(SHIR) 服务的VM，进行源和目的地之间的数据传输，但是也支持不用SHIR 的情况，就是使用自带的Azure IR，由于ADF 本身并不能完全实现所有功能，或者没有必要重复造轮子，所以很多时候ADF 是通过某些特定的activity去调用外部服务，完成一些需要更加专业的服务才能实现的功能。比如借助Databricks activity调用Azure Databricks来实现数据科学方面的需求。
除此之外，上面提到的SHIR 有自身的限制，它主要支持ADF 里面的copy 活动，简单来说就是实现ETL中的E 和L 部分，如果需要实现T，那么就要用到ADF 里面其他的activity，这些activi

最低0.47元/天解锁文章