pytorch维度不同的张量（tensor）相加规则

网上没找到，也不知道哪里有“张量加法”的源代码，就自己试了一下，大概有下面的规律。

如果有错误，希望大家指正！

规律1：如果相加的两个张量维度不一致，那么首先把维度低的那个张量从右边和维度高的张量对齐

例如下面的代码，b的维度低一些，所以和a相加的时候b的维度就会先扩充为[1,1,5,6]。

a = torch.ones([8, 4, 5, 6])
print('a =',a.size())
b = torch.ones([5, 6])
print('b =',b.size())
c = a+b
print('c =',c.size())

对齐后就可以跳转到规律2了。

规律2：当两个张量维度相同时，对应轴的值需要一样，或者为1。

相加时，把所有为1的轴进行复制扩充，从而得到两个维度完全相同的张量。然后对应位置相加即可。

可以相加的例子：

1. 由于对应的每个轴要么相等，要么一方是1，因此可以相加。否则不可以相加。

a = torch.ones([8, 4, 5, 6])
b = torch.ones([1, 1, 5, 6])
c = a+b

2. 一方维度全是1，可以相加

a = torch.ones([8, 4, 5, 6])
print('a =',a.size())
b = torch.ones([1, 1, 1, 1])
print('b =',b.size())
c = a+b
print('c =',c.size())

3. 维度完全相等，可以相加

a = torch.ones([8, 4, 5, 6])
print('a =',a.size())
b = torch.ones([8, 4, 5, 6])
print('b =',b.size())
c = a+b
print('c =',c.size())

不可以相加的例子：

1. 由于4不等于2，因此不可以相加

a = torch.ones([8, 4, 5, 6])
print('a =',a.size())
b = torch.ones([1, 2, 1, 6])
print('b =',b.size())
c = a+b
print('c =',c.size())

2. 由于3不等于6，不可以相加

a = torch.ones([8, 4, 5, 6])
print('a =',a.size())
b = torch.ones([1, 4, 1, 3])
print('b =',b.size())
c = a+b
print('c =',c.size())