Pytorch自定义求导：Extending torch.autograd

最新推荐文章于 2023-04-07 21:29:56 发布

小花生呀

最新推荐文章于 2023-04-07 21:29:56 发布

阅读量1k

点赞数 1

分类专栏： Pytorch registration DL

本文链接：https://blog.csdn.net/qq_37471316/article/details/87974675

版权

PyTorch通常能自动完成梯度计算，即autograd。但在涉及复杂操作的自定义损失函数中，autograd可能无法工作。为此，需要为每个操作创建一个新的Function子类以加入autograd。这包括：1) __init__（如果操作有非Variable参数，用于传递这些参数）；2) forward() - 定义前向计算过程，返回Tensor；3) backward() - 计算梯度，根据forward的输出和输入数量定义相应参数。在实际应用中，可以参考相关博客文章进行实现。

摘要由CSDN通过智能技术生成

Normally, pytorch can automatically achieve the gradient computation, i.e., autograd.

However, if we define a loss function including some complex operations, the autograd mechanics don't work.

Thus, adding these operations to autograd requires implementing a new Function subclass for each operation. Recall that Function s are what autograd uses to compute the results and gradients, and encode the operation history.

It can be achieved by using “Extending torch.autograd ”：

（1）__init__ (optional) - 如果你的operation包含非Variable参数，那么就将其作为__init__的参数传入到operation中。例如：AddConstant Function加一个常数，Transpose Function需要指定哪两个维度需要交换。如果你的operation不需要额外的参数，你可以忽略__init__。

（2）forward() - 计算 op 的前向过程