Pytorch Tutorial 学习笔记 （二）

Pytorch Tutorial 学习笔记 （二）

Pytorch官方文档：https://pytorch.org/tutorials/

Tensor运算过程中广播机制

rand = torch.rand(2, 4)
doubled = rand * (torch.ones(1, 4) * 2)

print(rand)
print(doubled)

输出：

tensor([[0.6146, 0.5999, 0.5013, 0.9397],
        [0.8656, 0.5207, 0.6865, 0.3614]])
tensor([[1.2291, 1.1998, 1.0026, 1.8793],
        [1.7312, 1.0413, 1.3730, 0.7228]])

在上面可以看到维度不同的张量进行相乘没有报错，这是因为广播机制，使形状相似的张量之间可以进行计算，在深度学习中经常使用在学习权重乘以输入的张量，因为二者之间不一定完全对等。

广播机制规则

• 每一个张量至少含有一个维度，不能是空张量

• 比较两个张量之间，从最后一维往前看，满足下面条件之一即可：

  维度大小相等

  维度不相同的话，其中有一个维度需为1

  一个张量维度不存在

正确示例

a =     torch.ones(4, 3, 2)

b = a * torch.rand(   3, 2) # 3rd & 2nd dims identical to a, dim 1 absent
print(b)

c = a * torch.rand(   3, 1) # 3rd dim = 1, 2nd dim identical to a
print(c)

d = a * torch.rand(   1, 2) # 3rd dim identical to a, 2nd dim = 1
print(d)

从右往左看，b和a第三和第二个数均相同，第一个数b不存在，所以可以相乘，c的第三个数虽然和a不同，但是c的数为1，d类似。

错误示例

a =     torch.ones(4, 3, 2)

b = a * torch.rand(4, 3)    # dimensions must match last-to-first

c = a * torch.rand(   2, 3) # both 3rd & 2nd dims different

d = a * torch.rand((0, ))   # can't broadcast with an empty tensor

从右往左看维度a和b不一致，a和c第三个数不匹配且均不为1，d为空张量