卷积核的优势-权值共享与局部感知能力

卷积核的优势-权值共享与局部感知能力

在读论文的时候一直读到一个名词“权值共享”，但心里对这个概念一直比较模糊，今天突然明白，记录一下。

1. 局部感知能力

这与卷积核的使用方式有关，卷积核在输入图像上是滑动运算的，卷积核在图像的不同位置提取特征这就是局部感知能力。

2. 权值共享

在介绍权值共享之前先分享一个小知识，以前的卷积网路模型在卷积层后面会设全连接层，在读论文的时候经常读到一个词“Flatten”。卷积层提取到的最终特征图在输入全连接层之前需要“展平”，比如说最终提取的特征图的大小为$5\times 6$，那么你需要展平成$1\times 30$，这样才可以输入全连接层。

权值共享 这个特点一般是用于与传统神经网络模型做比较的，举个计算例子：

假设你的输入图像是1024*760的大小，第一个隐藏层设置有1000个神经元，那么你的参数为：
$$1024\times 760\times 1000=778,240,000$$

而对于卷积神经网络而言，一个卷积核在一张输入图像上提取特征时，这个卷积核的值是不变的。在上面的假设上layer1使用1000个$5\times 5$的卷积核，其参数的个数为：
$$5\times 5\times 1000=25,000$$

权值共享的优势就显现出来了。