CNN---权值共享

1.定义：

        权值共享指由单个参数(权重)控制多个连接，亦可解释为在连接强度之间施加相等的约束。通过权值共享，模型可以获取非常小的计算成本。

2.直观理解：

如上图所示，设Image为一个5*5的矩阵A，卷积核为一个3*3的矩阵B，输出特征图为3*3的矩阵C，那么有：

C11= A11*B11+ A12*B12+A13*B13+…+A31*B31+A32*B32+A33*B33

C12= A12*B11+ A13*B12+A14*B13+…+A32*B31+A33*B32+A34*B33

……

C33= A33*B11+ A34*B12+A35*B13+…+A53*B31+A54*B32+A55*B33

由上式可知，卷积核B在输入图像A上的滤波器参数是共享的。 

3.参数计算：

在CNN网络中，模型的参数量的计算公式如下：

CNN模型参数：(F*F+1)*C(input)*C(output)

其中，F表示卷积核的大小;C表示模型的输入/输出通道数。加1表示bias的参数量，一般CVPR论文中这个参数往往忽略不计。

参考文献：

1.Generalization and Network Design Strategies,Y.le Cun 1989

2.Gradient-Based Learning Applied to Document Recognition,Yann LeCun 1998 (P42)

注：本文属于个人理解，若有错误，欢迎指正！