torch的广播机制(broadcast mechanism)

以下内容均来源于https://zhuanlan.zhihu.com/p/86997775

1.广播是什么

对形状不一的数组上应用算术运算

在满足特定限制的前提下，较小的数组“广播至”较大的数组，使两者形状互相兼容。广播提供了一个向量化数组操作的机制，这样遍历就发生在C层面，而不是Python层面。广播可以避免不必要的数据复制，通常导向高效的算法实现。不过，也存在不适用广播的情形（可能导致拖慢计算过程的低效内存使用）

2.广播的规则

可广播的一对张量需满足以下规则：

• 每个张量至少有一个维度。

• 迭代维度尺寸时，从尾部的维度开始，维度尺寸
  ​ 或者相等，
  ​ 或者其中一个张量的维度尺寸为 1 ，
  ​ 或者其中一个张量不存在这个维度。

例子https://zhuanlan.zhihu.com/p/86997775里面有

3.参考

https://zhuanlan.zhihu.com/p/86997775