pytorch广播机制的理解

想要了解数组维度不同是否可以做数值运算？我们写的数值运算是否真的按照我们想的方式在运作？那么为了避免这些不易察觉的错误，一定要了解下广播机制。

• 众所周知，维度相同，形状相同的数组可以进行数值运算。

  • a是2行3列的二维数组，b是2行3列的数组。
  • 维度相同，都是二维数组。
  • 形状相同，都是2行3列(shape=(2,3))。
    因此可以直接进行+，-，*，/等数值运算。维度不同的两个数组可以运算么？答案是可以的。
    

• 即使形状不同，我们仍然可以通过调用 广播机制 （broadcasting mechanism） 来执行按元素操作
  这种机制的工作方式如下：首先，通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状。其次，对生成的数组执行按元素操作。
  
  由于 a 和 b 分别是 3×1 和 1×2 矩阵，如果我们让它们相加，它们的形状不匹配。我们将两个矩阵广播为一个更大的 3×2 矩阵，如下所示：矩阵 a将复制列，矩阵 b将复制行，然后再按元素相加。

• 注意⚠️：维度不同的两个数组不能通过广播机制实现运算， 比如：二维数组 + 三维数组。