本文属于【Azure Data Platform】系列。
接上文:【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure
本文介绍如何Debug ADF 的管道。
原因
在使用ADF的过程中,碰到了很多报错,因此我觉得先缓一下,把如何debug放到前面,以免浪费太多时间在找问题上面。确保每个功能能符合预期的结果及性能,可以在大型项目中节省很多时间。
Debug是会实际执行操作。比如复制数据,在debug的时候数据还是会被复制,只是管道在debug模式下的执行日志会被输出。
实操管道Debug
先弄一个简单的复制操作, 具体参考:[【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具(云中复制)(https://blog.csdn.net/DBA_Huangzj/article/details/122279572)
点击【调试】后,可以看到下图结果:
点击右下角【查看调试运行消耗】:
把鼠标移到【输出】的名称处,可以看到出现三个图标:
我们一个一个点开看看:
它们分别是输入,输出和详细信息,见下图:
通过上面的4个信息,可以大概了解到管道的运行情况。
当然我们的目的是找到问题并修复问题,所以如果管道运行报错,会是怎样的呢?我们随便改一下管道让它报错。可以看到下面的图标变了,多了一个“错误”:
点开错误信息:
查看问题可以看到:
ErrorCode=UserErrorSourceBlobNotExist,‘Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The required Blob is missing. ContainerName: https://salab4adf.blob.core.windows.net/adflab, path: ADFTest1.txt.,Source=Microsoft.DataTransfer.ClientLibrary,’‘Type=Microsoft.WindowsAzure.Storage.StorageException,Message=The remote server returned an error: (404) Not Found.,Source=Microsoft.WindowsAzure.Storage,StorageExtendedMessage=RequestId:ec89085f-101e-0073-292b-08cbb2000000 Time:Thu, 13 Jan 2022 03:15:46 GMT,’‘Type=System.Net.WebException,Message=The remote server returned an error: (404) Not Found.,Source=Microsoft.WindowsAzure.Storage,’
实际上我做的操作是没有指定源上的文件, 所以报不存在是正常的。另外我们可以看到下图的刷新策略:
如果我们到【监视器】中查看,是没有这部分的管道信息,因为它运行在Debug模式下:
除此之外,调试模式还支持断点,野就是调试截止时间。如下图红圈,当一个管道中有多个步骤时,可以通过点击这个红圈(点击后会变成一个红色的圆)暂停下一步的运行。
再次点击即可恢复后续调试。
小结
本文快速演示了关于管道常见的debug, 但是还有一个常见的工具“数据流”及其debug,在下一文中将演示如何使用数据流。。