PyTorch leaf node

最新推荐文章于 2024-05-31 12:44:24 发布

风海流

最新推荐文章于 2024-05-31 12:44:24 发布

阅读量1.3k

点赞数

分类专栏：人工智能文章标签： PyTorch leaf node

本文链接：https://blog.csdn.net/huyaoyu/article/details/103270922

版权

本文探讨了PyTorch中关于leaf node的问题，通过一个实例展示了如何在操作tensor时影响到变量的leaf node状态。在测试代码中，作者发现对tensor进行某些操作会导致其变为非leaf node，这在自动梯度计算中有重要影响。为保持变量为leaf node，建议在使用torch操作时不指定requires_grad，并在最后显式设置成员变量。

摘要由CSDN通过智能技术生成

起因

今天被PyTroch tensor的requires_grad搞了一把。具体情况是创建一个tensor和在后续的使用过程中，对requires_grad的取值会影响到python存储的变量是否为leaf node。说起来很抽象，直接上代码。

（有关leaf node，请参考我的另外一篇博客，https://blog.csdn.net/huyaoyu/article/details/81059315）

测试代码

以下代码测试在PyTorch 1.3.1上。

import torch

if __name__ == "__main__":
    a = torch.tensor([1.0], requires_grad=False)
    print("a.is_leaf = {}. ".format( a.is_leaf ))

    b = torch.tensor([1.0], requires_grad=True)
    print("b.is_leaf = {}. ".format( b.is_leaf ))

    c = torch.tensor(