einsum爱因斯坦求和

https://zhuanlan.zhihu.com/p/74462893

0. 爱因斯坦求和约定（Einstein Notation）

在数学中，爱因斯坦求和约定是一种标记法，也称为Einstein Summation Convention，在处理关于坐标的方程式时十分有效。简单来说，爱因斯坦求和就是简化掉求和式中的求和符号，即 [公式] ,这样就会使公式更加简洁，如

Numpy是Python中的一个重要的科学计算库，支持大量的多维数组计算，并提供了大量的运算函数库。Numpy率先将爱因斯坦求和以扩展函数的方式引入(np.einsum)，而多维数组的特性又非常符合深度学习中张量（Tensor）的特性，因此，基于Numpy，TensorFlow、PyTorch等深度学习框架也纷纷将einsum作为其拓展函数，与Numpy相比，tf和torch中参与运算的张量具有梯度，可以进行反向传播。

对于张量/矩阵运算，einsum几乎无所不能，以下以Numpy为例，来说明其典型用法，PyTorch和TensorFlow中的用法大同小异。

1. 转置

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->ji', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: [[0 3 6]
 [1 4 7]
 [2 5 8]]

2. 全部元素求和

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: 36

3. 某一维度求和

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->i', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: [ 3 12 21]

4. 矩阵对应维度相乘(广播形式)

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 4).reshape(4)
print(b)
c = np.einsum('ij,j->ij', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [0 1 2 3]
c: [[ 0  1  4  9]
 [ 0  5 12 21]
 [ 0  9 20 33]]

5. 矩阵对应维度相乘(求和形式)

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 4).reshape(4)
print(b)
c = np.einsum('ij,j->i', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [0 1 2 3]
c: [14 38 62]

6. 矩阵点积

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 12).reshape(3, 4)
print(b)
c = np.einsum('ij,ij->', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
c: 506

7. 矩阵外积(相乘)

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 12).reshape(4, 3)
print(b)
c = np.einsum('ik,kj->ij', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [[ 0  1  2]
 [ 3  4  5]
 [ 6  7  8]
 [ 9 10 11]]
c: [[ 42  48  54]
 [114 136 158]
 [186 224 262]]

8. Tensor实例中的应用（PyTorch）

情境如下：

有两个tensor A和B，size都是[16, 8, 5, 128, 128]，想将两者的第2个维度，即size为5的维度，分别reshape为5x1和1x5的两个向量，然后计算外积，得到一个5x5的kernel。但是，在张量中进行这样的运算，同时保持其他维度不受影响，是比较困难的，而einsum可以完美就觉这种情况。

首先，A可以view成一个size为[18, 8, 5, 1, 128, 128]的tensor, 同理，B可以view为size为[16, 8, 1, 5, 128, 128]的tensor，此时，结果为可以表示为

这是一个复杂版的乘法，相对应的PyTorch代码如下：

import torch
A = torch.randn(16, 8, 5, 128, 128)
B = torch.randn(16, 8, 5, 128, 128)
print('A:', A.size())
print('B:', B.size())
A = A.unsqueeze(3)
B = B.unsqueeze(2)
print('Viewed A:', A.size())
print('Viewed B:', B.size())
C = torch.einsum('ijklno,ijlmno->ijkmno', [A, B])
print('C:', C.size())

Output：
A: torch.Size([16, 8, 5, 128, 128])
B: torch.Size([16, 8, 5, 128, 128])
Viewed A: torch.Size([16, 8, 5, 1, 128, 128])
Viewed B: torch.Size([16, 8, 1, 5, 128, 128])
C: torch.Size([16, 8, 5, 5, 128, 128])

欢迎关注知乎专栏【深度图像与视频增强】，一起交流、探讨计算机视觉中的一些问题。