引入原因
前文提到过理论上一个两层的全链接神经网络即可拟合任意的函数,那为何还要引入CNN呢?主要是全连接网络的权重矩阵的参数非常多,其想要拟合任意的函数神经元必须非常大,运算量也就特别多,现在主流观点为将深度神经网络做得比较深,有理论支持拟合同样复杂的函数,在深度上发展所需要的神经元比横向发展所需要的神经元更多,因为深层能够捕获到高层的语义特征。卷积神经网络主要依靠局部连接与权重共享达到其减少运算,保留强表征的效果。
卷积操作
卷积操作作为常用的特征提取器,以图片特征为例:
不同的滤波器(卷积核)可以提取图片的不同特征,如轮廓信息、焦点信息等等。
通过局部连接和权值共享可以大幅度降低神经网络权值数量,成倍提升训练和预测速度。同过多层卷积可以提取更高级的特征。卷积网络是由卷积层、子采样层、全连接层交叉堆叠而成。趋向于小卷积、大深度,趋向于全卷积,典型结构如下:
CNN的应用