【Pytorch】Inplace operation（待完善）

什么是Inplace操作

本质上讲，inplace操作是指将新值赋到原变量地址上的操作，目的是节约内存空间。例如inplace操作‘x += 1’，假设原x值为0，储存在id为139973228650216的内存地址中，在进行该inplace操作后，x为1且仍储存在139973228650216中。

哪些是Inplace操作，哪些不是

任何有一个'_'后缀改变张量的操作都是inplace操作。例如x.squeeze_()，x.unsqueeze_()操作将改变x。x.squeeze()，x.unsqueeze()则不会。

Pytorch中 torch.relu()和torch.sigmoid()等激活函数不是inplace操作，其中ReLU可通过设置inplace=True进行inplace操作。

x += res是inplace操作，x = x + res不是（详情见官网论坛Adam Paszke的回答）。

引起modified by an inplace operation的原因

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation

注意：x += res是inplace operation，x = x + res不是

如图，C是可行的。但若换为x += res放在B后即会报错，因为在执行B后，为执行backward 语句在此时保存了x的值，而后x又被改变，因此无法backward。

如何避免错误

若不担心内存消耗，可以使用x = x + B语句、.sequeeze()等非inplace操作避免报错。

---

另外可通过

    with torch.autograd.set_detect_anomaly(True):
        ......

检测模型中inplace operation报错的具体位置，参考这里。