Pytorch广播机制

广播机制

Python中的NumPy库提供了广播机制（broadcasting），是一种非常高效的多维数组运算方式。广播机制可以对不同形状的数组自动进行适配，从而实现在两个不同形状的数组之间进行计算。广播机制的条件如下：

1、数组的维度（即轴数）相同；

2、对于每个维度，它们的长度要么相同，要么其中至少有一个为1（如果两个数组在某个维度的长度不同且不为1，则会引发异常）；

3、如果两个数组的shape在某些维度上相同，在其他维度上至少有一个为1，则这个维度上的数组元素可以相互“广播”。也就是说，维度长度为1的数组可以通过复制来扩大其大小，以使其与另一个数组在指定维度上的大小相匹配。

当使用广播机制进行计算时，系统会自动将数据形状扩展并对齐，然后对每个元素进行对应的计算操作。这样，虽然两个数组的形状不同，但依然可以使用相同的代码进行计算，方便快捷。

广播机制在科学计算和深度学习等领域中经常被使用，例如计算两个矩阵的乘积、对图像进行缩放和旋转等。对广播机制的熟练应用可以提高代码效率，简化开发过程。

PyTorch也支持广播机制（broadcasting），其条件和 NumPy 的广播机制条件基本相同。具体来说，PyTorch的广播机制条件如下：

1、数组的维度（即轴数）相同；

2、对于每个维度，它们的长度要么相同，要么其中至少有一个为1（如果两个张量在某个维度的长度不同且不为1，则会引发异常）；

3、如果两个张量的 shape 在某些维度上相同，在其他维度上至少有一个为1，则这个维度上的张量元素可以相互“广播”。也就是说，维度长度为1的张量可以通过复制来扩大其大小，以使其与另一个张量在指定维度上的大小相匹配。

PyTorch中的广播机制基本与NumPy相同，只不过使用方式会略有不同。在PyTorch中，可以使用 torch.broadcast_tensors 方法将两个需要进行广播操作的张量自动扩展到相同的形状。

当对两个形状不同的Tensor按元素运算时，会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。例如：

x = torch.arange(1, 3).view(1, 2)
print(x)
y = torch.arange(1, 4).view(3, 1)
print(y)
print(x + y)

输出：

tensor([[1, 2]])
tensor([[1],
        [2],
        [3]])
tensor([[2, 3],
        [3, 4],
        [4, 5]])

由于x和y分别是1行2列和3行1列的矩阵，如果要计算x + y，那么x中第一行的2个元素被广播（复制）到了第二行和第三行，而y中第一列的3个元素被广播（复制）到了第二列。如此，就可以对2个3行2列的矩阵按元素相加。