深度学习(七)——Broadcast自动扩展

broadcast的扩张步骤理解
broadcast为自动扩张
图中第2行第2列的0 1 2 维度为1，即[3]，broadcast首先 把[3]->[1 3]，再进行扩张，步骤为：

1. 在高维度上插入1
2. 把所有shape为1的Tensor扩张为shape和a相同的shape
   
   
   一个浮点数是4byte
   理解broadcast的存在意义：
   [5.0]存数据，[1]代表1维度
   如果[1，32，8] + [5.0]，一直相加会有维度不同的报错，因此[5.0](dim=1)要进行扩张，不用broadcast的做法：
   [1].unsqueeze(0).unsqueeze(0).expand_as(A)(expand换成repeat更是会加倍内存消耗，而broadcast 可以节省内存),使用broadcast
   
   下图还是说扩张的步骤