【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具(云中复制)

本文详细介绍了如何使用Azure Data Factory的复制数据工具,从Azure Blob Storage复制数据到Azure SQL Database。通过创建Blob Storage和SQL DB,演示了ADF的Pipeline开发过程,包括配置源、接收器、映射和调试,最终成功将数据导入数据库。
摘要由CSDN通过智能技术生成

本文属于【Azure Data Platform】系列。
接上文:【Azure Data Platform】ETL工具(1)——Azure Data Factory简介
本文演示如何使用ADF 从Azure Blob Storage中复制数据到Azure SQL DB。

在上一文中,我们创建好了ADF服务, 下面演示一下最简单的ADF 操作,除了ADF 服务之外,本文将创建一个Azure Blob Storage和Azure SQL Database 作为数据传输的演示。

在ADF中,有一个“复制数据”工具,借助这个工具,可以把在不同地方(本地或云)的不同数据源中实现数据的传输。基本上支持你能想到的所有常规数据源,具体列表以这里为准:Supported data stores and formats

这里引入一个概念:Integration Runtime (IR),集成运行时。

ADF当前支持3类IR:

  1. Azure Integration Runtime:主要涉及公网访问。
  2. Self-Hosted Integration Runtime: 用于源或目表存在本地数据源的访问。
  3. Azure SSIS Integration Runtime: 用于运行SSIS包。

ADF使用IR在不同的网络环境下安全地运行复制活动。并且选择最接近的可用区域作为数据源。可以理解为IR搭起了复制活动(copy activity)和链接服务(Linked services)的桥梁。

环境准备

接下来演示一个很常见的需求,从Azure Blob复制数据到SQL DB。这是基于云环境(Azure)内部的数据复制操作。为此,我们快速创建一个Azure Blob Storage和SQL DB,能用默认的就用默认。

创建Blob Storage

本系列假设你已经会基本的创建Azure服务,并且由于预算有限,会尽可能选择低配的服务。 创建Blob Storage如下图所示:
在这里插入图片描述

创建SQL DB<

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值