pytorch中变量的可微分性

变量梯度的分析

1.变量是可以有梯度的；对于变量，如果其require_grad为true,则表示允许该变量有梯度；如果反向传播时损失经过计算图传导到该变量且该变量的require_grad为true,则可以通过(变量.grad)查看该变量的梯度；如果反向传播时损失无法传导到该变量，则改变量.grad为None;对于require_grad为False的变量，反向传播时不会对其计算梯度和更新该参数，该参数的grad一直为None，可以当作常量处理
2.加减乘除赋值等各个操作是让梯度向后传播,
3.变量A的require_grad为True,B的require_grad为False,令out=A+B，则out不是变量，而是操作，其求梯度函数为’add’，反向传播时，A有梯度并更新A的参数，B是常量

在神经网络中，可以利用上述方法查看梯度的反向传播是否正常

detach的用法

参考https://www.cnblogs.com/wanghui-garcia/p/10677071.html
总结:
这么一看其实detach()和detach_()很像，两个的区别就是detach_()是对本身的更改，detach()则是生成了一个新的variable

比如x -> m -> y中如果对m进行detach()，后面如果反悔想还是对原来的计算图进行操作还是可以的

但是如果是进行了detach_()，那么原来的计算图也发生了变化，就不能反悔了