python的numpy和torch模块关于a += b和a = a + b的内存管理

之前我一直以为a += b和a = a + b是一样的。都是开辟一块新的空间然后重新命名为a。平常用法确实如此。

---------------------
a = 1
b = 2
id_ = id(a)
a = a + b
id(a) == id_
## 结果
False
---------------------
a = 1
b = 2
id_ = id(a)
a += b
id(a) == id_
## 结果
False

但是numpy和torch模块里的数据结构就对内存管理做了优化。a += b是对原内存进行操作，而a = a + b是开辟了新内存，这里提个醒。示例看下面代码。

---------------------
import numpy, torch
a_numpy = numpy.array(1)
a_torch = torch.tensor(1)
b_numpy = numpy.array(2)
b_torch = torch.tensor(2)
id_numpy = id(a_numpy)
id_torch = id(a_torch)
a_numpy = a_numpy + b_numpy
a_torch = a_torch + b_torch
print(id(a_numpy) == id_numpy)
print(id(a_torch) == id_torch)
## 结果
False
False
---------------------
import numpy, torch
a_numpy = numpy.array(1)
a_torch = torch.tensor(1)
b_numpy = numpy.array(2)
b_torch = torch.tensor(2)
id_numpy = id(a_numpy)
id_torch = id(a_torch)
a_numpy += b_numpy
a_torch += b_torch
print(id(a_numpy) == id_numpy)
print(id(a_torch) == id_torch)
## 结果
True
True

顺便说一句。
Torch的数据结构用tensor表示，Numpy的数据结构用ndarray表示。二者可以共享内存，且之间的转换非常方便。它们的不同之处在于Numpy会把array放在CPU中进行加速运算，而由Torch产生的tensor会放在GPU中进行加速运算。