动手学深度学习学习笔记（3）

广播机制

当对两个形状不同的Tensor按元素运算时，可能会除法广播机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。

x = torch.arange(1,3).view(1,2)
print(x)
y = torch.arange(1,4).view(3,1)
print(y)
print(x+y)

输出

tensor([[1, 2]])
tensor([[1],
        [2],
        [3]])
tensor([[2, 3],
        [3, 4],
        [4, 5]])

由于x和y分别是1行二列和三行一列的矩阵，如果要计算x+y，那么x中第一行的元素会被广播成为三行，y中第一列的元素会被广播成为两列。

运算的内存开销

索引是不会开辟新内存的，而像y = x+y这样的运算是会新开内存的，然后将y指向新内存。使用id函数验证，如果id一致那么对应的内存地址相同。

x = torch.tensor([1,2])
y = torch.tensor([3,4])
id_before = id(y)
y = y+x
print(id(y) == id_before)

输出

False

如果想将结果指定到原来的y的内存，可以使用索引。

x = torch.tensor([1,2])
y = torch.tensor([3,4])
id_before = id(y)
y[:] = y+x
print(id(y) == id_before)

输出

True

还可以使用元素符全名函数中的out参数或者自加运算符+=（add_()）

torch.add(x,y,out = y)
y += x
y.add_(x)

重点：虽然view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor(因为Tensor除了包含data外还有一些其他属性)，二者id（内存地址）并不一致

Tensor和NumPy相互转换
可以用numpy（）和from_numpy()将Tensor和NumPy中的数组相互转换，但是
重点：这两个函数所产生的Tensor和NumPy中的数组共享相同的内存（所以他们之间的转换很快），改变其中一个是另一个也会改变。

还有一个常用的将NumPy中的array转换成Tensor的方法就是torch.tensor(),需要注意的是，此方法总是会进行数据拷贝（消耗更多的时间和空间），所以返回的Tensor和原来的数据不再共享内存。

Tensor转NumPy
使用numpy（）将Tensor转换成NumPy数组

a = torch.ones(5)
b = a.numpy()
print(a,b)
a += 1
print(a,b)
b += 1
print(a,b)

输出

tensor([1., 1., 1., 1., 1.]) [1. 1. 1. 1. 1.]
tensor([2., 2., 2., 2., 2.]) [2. 2. 2. 2. 2.]
tensor([3., 3., 3., 3., 3.]) [3. 3. 3. 3. 3.]

NumPy数组转Tensor

使用from_numpy()将NumPy数组转换成Tensor：

import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
print(a,b)

a += 1
print(a,b)
b += 1
print(a,b)

输出

[1. 1. 1. 1. 1.] tensor([1., 1., 1., 1., 1.], dtype=torch.float64)
[2. 2. 2. 2. 2.] tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
[3. 3. 3. 3. 3.] tensor([3., 3., 3., 3., 3.], dtype=torch.float64)

所有在cpu上的Tensor（除了CharTensor），都支持与NumPy数组相互转换。
使用torch.tensor()进行数据转换，重点 不再共享内存

c = torch.tensor(a)
a += 1
print(a,c)

输出

[4. 4. 4. 4. 4.] tensor([3., 3., 3., 3., 3.], dtype=torch.float64)

Tensor on GPU
用方法to（）可以将Tensor在CPU和GPU（需要硬件支持）之间相互移动

if torch.cuda.is_available():
	device = torch.device("cuda")   
	y = torch.ones_like(x,device = device)
	#创建一个在GPU上的Tensor
	x = x.to(device)
	#等价于to cuda
	z = x+y
	print(z)
	print(z.to("cpu",torch.double))
	#to也可以同时改变数据类型