torch学习笔记：torch的广播机制

广播

• “广播”这一术语用于描述如何在形状不一的数组上应用算术运算。
• 在满足特定限制的前提下，较小的数组“广播至”较大的数组，使两者形状互相兼容。广播提供了一个向量化数组操作的机制，这样遍历就发生在C层面，而不是Python层面。广播可以避免不必要的数据复制，通常导向高效的算法实现。不过，也存在不适用广播的情形（可能导致拖慢计算过程的低效内存使用）。
• 可广播的一对张量需满足以下规则：
• 每个张量至少有一个维度。
• 迭代维度尺寸时，从尾部的维度开始，维度尺寸
  ​ 或者相等，
  ​ 或者其中一个张量的维度尺寸为 1 ，
  ​ 或者其中一个张量不存在这个维度。

• import torch
  
  # 示例1：相同形状的张量总是可广播的，因为总能满足以上规则。
  x = torch.empty(5, 7, 3)
  y = torch.empty(5, 7, 3)
  
  
  # 示例2：不可广播（ a 不满足第一条规则）。
  a = torch.empty((0,))
  b = torch.empty(2, 2)
  
  
  # 示例3：m 和 n 可广播：
  m = torch.empty(5, 3, 4, 1)
  n = torch.empty(   3, 1, 1)
  # 倒数第一个维度：两者的尺寸均为1
  # 倒数第二个维度：n尺寸为1
  # 倒数第三个维度：两者尺寸相同
  # 倒数第四个维度：n该维度不存在
  
  
  # 示例4：不可广播，因为倒数第三个维度：2 != 3
  p = torch.empty(5, 2, 4, 1)
  q = torch.empty(   3, 1, 1)

• 现在你对“可广播”这一概念已经有所了解了，让我们看下，广播后的张量是什么样的。
• 如果张量x和张量y是可广播的，那么广播后的张量尺寸按照如下方法计算：
• 如果x和y的维数不等，在维数较少的张量上添加尺寸为 1 的维度。结果维度尺寸是x和y相应维度尺寸的较大者。

• # 示例5：可广播
  c = torch.empty(5, 1, 4, 1)
  d = torch.empty(   3, 1, 1)
  (c + d).size()  # torch.Size([5, 3, 4, 1])
  
  
  # 示例6：可广播
  f = torch.empty(      1)
  g = torch.empty(3, 1, 7)
  (f + g).size()  # torch.Size([3, 1, 7])
  
  
  # 示例7：不可广播
  o = torch.empty(5, 2, 4, 1)
  u = torch.empty(   3, 1, 1)
  (o + u).size()  # 报错