卷积运算转换为矩阵乘法

        看卷积神经网络的时候，发现代码中计算卷积是通过矩阵乘法来计算的。

搜了一下发现网上这方面的资料很少。刚开始找中文的，找到两个。

http://blog.csdn.net/anan1205/article/details/12313593

http://zhongcheng0519.blog.163.com/blog/static/161690688201122141335874/

        看了之后，还是不懂。然后开始搜英文的。

最后搜到两个挺有用的，一个是维基百科对Toeplitz的介绍，一个是图像处理的书籍。

http://en.wikipedia.org/wiki/Toeplitz_matrix

Toeplitzmatrix

http://books.google.com.hk/books?id=JeDGn6Wmf1kC&pg=PA110&lpg=PA110&dq=2-D+convolution+as+a+matrix-matrix+multiplication&source=bl&ots=kdxpa_C-Ax&sig=afy2CMZHEkoV-7ymwcBFMwvRB8U&hl=zh-CN&sa=X&ei=wjVOU_jkEMypkgW09IDwCQ&ved=0CEEQ6AEwAg#v=onepage&q=2-D%20convolution%20as%20a%20matrix-matrix%20multiplication&f=false

下面拿一个例子来讲解一下，怎么把卷积运算转换为矩阵乘法运算。其实是那本书的一个例子。

X=[

1   2

3  4]

h= [

5   6

7  8]

其中，X是卷积核。

1 X的每一行生成一个小矩阵

第一行[1 2]，

首先插入1，得[1 0],补的0的数量等于H的列数-1。这里，h的列数是2，故补2-1=1个0。

再右移一位插入2，得出第二行，得[10

2   1]

再右移一位得出第三行，得

[

1 0

2 1

0 2]。把这个等于H0。

第二行[3 4]，同理得

H1=[

3 0

4 3

0 4]。

观察这个过程，明显是将上一行右移再插入新的值到第一个列从而得出下一行。

我们可以假设第0行是[0 0],最后一行是[0 0]。

[

0 0

3 0

4 3

0 4

0 0

]就可以看到规律。

2 算出Toeplitz矩阵

A= [

H0  O

H1 H0

O  H1]，其中O是一个由若干个0组成的小矩阵。

这个例子中，

A=

[

1 0 0 0

2 1 0 0

0 2 0 0

3 0 1 0

4 3 2 1

0 4 0 2

0 0 3 0

0 0 4 3

0 0 0 4

]

3 将h变为列向量，按照行的顺序来，得

[

5

6

7

8

]

4 将Toeplitz矩阵和列向量相乘，得

[

5

16

12

22

60

40

21

52

32

]

整理为矩阵得，

[

5 16 12

22 60 40

21 52 32

]。

下面来验证一下，

首先将卷积核旋转180度，得

[

4 3

2 1

]

从左上开始，滑动算点积，得

5*1= 5，

5*2+ 6*1 = 16，

6*2= 12，

5*3+7*1=22，

5*4+6*3+7*2+8*1=60,

。。。。。。

正确！！！

特别说明一下，根据那本书所说，这算的是线性卷积。还有种卷积叫循环卷积。