pytorch中深度拷贝_pytorch：对比clone、detach以及copy_等张量复制操作

pytorch提供了clone、detach、copy_和new_tensor等多种张量的复制操作，尤其前两者在深度学习的网络架构中经常被使用，本文旨在对比这些操作的差别。

1. clone

返回一个和源张量同shape、dtype和device的张量，与源张量不共享数据内存，但提供梯度的回溯。

下面，通过例子来详细说明：

示例：

(1)定义

import torch

a = torch.tensor(1.0, requires_grad=True, device="cuda", dtype=torch.float64)

a_ = a.clone()

print(a_) # tensor(1., device='cuda:0', dtype=torch.float64, grad_fn=)

注意：grad_fn=，说明clone后的返回值是个中间variable，因此支持梯度的回溯。因此，clone操作在一定程度上可以视为是一个identity-mapping函数。

(2)梯度的回溯

clone作为一个中间variable，会将梯度传给源张量进行叠加。

import torch

a = torch.tensor(1.0, requires_grad=True)

y = a ** 2

a_ = a.clone()

z = a_ * 3

y.backward()

print(a.grad) # 2

z.backward()

print(a_.grad)　　　# None. 中间variable，无grad

print(a.grad) #　5. a_的梯度会传递回给a，因此2+3=5

但若源张量的require_grad=False，而clone后的张量require_grad=True，显然此时不存在张量回溯现象，clone后的张量可以求导。