【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道

本文属于【Azure Data Platform】系列。
接上文：【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure
本文介绍如何Debug ADF 的管道。

原因

在使用ADF的过程中，碰到了很多报错，因此我觉得先缓一下，把如何debug放到前面，以免浪费太多时间在找问题上面。确保每个功能能符合预期的结果及性能，可以在大型项目中节省很多时间。

Debug是会实际执行操作。比如复制数据，在debug的时候数据还是会被复制，只是管道在debug模式下的执行日志会被输出。

实操管道Debug

先弄一个简单的复制操作， 具体参考：[【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）(https://blog.csdn.net/DBA_Huangzj/article/details/122279572)

点击【调试】后，可以看到下图结果：

点击右下角【查看调试运行消耗】：

把鼠标移到【输出】的名称处，可以看到出现三个图标：

我们一个一个点开看看：
它们分别是输入，输出和详细信息，见下图：

通过上面的4个信息，可以大概了解到管道的运行情况。

当然我们的目的是找到问题并修复问题，所以如果管道运行报错，会是怎样的呢？我们随便改一下管道让它报错。可以看到下面的图标变了，多了一个“错误”：

点开错误信息：

查看问题可以看到：
ErrorCode=UserErrorSourceBlobNotExist,‘Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The required Blob is missing. ContainerName: https://salab4adf.blob.core.windows.net/adflab, path: ADFTest1.txt.,Source=Microsoft.DataTransfer.ClientLibrary,’‘Type=Microsoft.WindowsAzure.Storage.StorageException,Message=The remote server returned an error: (404) Not Found.,Source=Microsoft.WindowsAzure.Storage,StorageExtendedMessage=RequestId:ec89085f-101e-0073-292b-08cbb2000000 Time:Thu, 13 Jan 2022 03:15:46 GMT,’‘Type=System.Net.WebException,Message=The remote server returned an error: (404) Not Found.,Source=Microsoft.WindowsAzure.Storage,’

实际上我做的操作是没有指定源上的文件， 所以报不存在是正常的。另外我们可以看到下图的刷新策略：

如果我们到【监视器】中查看，是没有这部分的管道信息，因为它运行在Debug模式下：

除此之外，调试模式还支持断点，野就是调试截止时间。如下图红圈，当一个管道中有多个步骤时，可以通过点击这个红圈（点击后会变成一个红色的圆）暂停下一步的运行。

再次点击即可恢复后续调试。

小结

本文快速演示了关于管道常见的debug， 但是还有一个常见的工具“数据流”及其debug，在下一文中将演示如何使用数据流。。