.detach()和.clone()的区别

一、记录自己遇到这个问题的背景原因

最近在Pytorch下手搓神经网络计算图时，遇到了一些问题，

我发现很多莫名其妙的梯度中断或者tensor值异常都源自于

tensor的原地操作，比如原地++，原地+=这些

相应的，为了保证梯度连续，往往需要再找一个变量，先赋值，再对新变量处理。

或者就把运算符写开：tensor = tensor + new_tensorer而不是tensor += new_tensorer

二、.detach()和.clone()的区别

当然，如果不在意梯度，那么就有两种产生新tensor的方法：

        detach() 是 PyTorch 中的一个函数，用于从当前计算图中分离张量，生成一个新的张量，新张量不再与原始张量共享梯度。这就意味着对于新张量的操作不会影响原始张量的梯度，也就是说，新张量是不可训练的。但是作为副本，仍然共享相同的数据存储。

        clone() 函数生成一个新的张量，包含原始张量相同的数据，但完全独立，不共享梯度，也不共享数据存储。