一、传统的模式识别方法
人工设计的特征提取方法+分类器(可以是全连接神经网络)
1.1. 图像–特征提取–>特征–分类器–>数字类别
1.2. 缺点:需要手动设计特征提取方法,通常对于不同的问题需要不同的特征提取方法。而且效果与特征提取方法关系很大。
直接处理图像的全连接神经网络(raw input)
2.1. 图像–全连接神经网络–>数字类别
2.2. 缺点:
a. 参数数量爆炸(起码与图像像素数目成正比):需要大数据集,难以收敛,容易过拟合,会超内存。
b. 不保证对旋转以及局部扭曲的无关性,需要数字图像居中才可以得到较好的准确度(通常难以满足)。理论上全连接可以得到旋转以及局部扭曲不变性,即在不同位置都有一个相似的权值单元,但是需要大量的局部移动的训练样本)。
c. 忽略了图像的拓扑结构,任意打乱图像的像素顺序不会影响训练结果。
二、CNN 的特点
CNN的三个主要思想(局部感受野、权值共享以及降采样)就是为了弥补上诉全连接网络的三个缺点,使得网络可以保证平移、缩放、扭曲无关性。
1局部感受野
局部感受野可以从大脑皮层中处理视觉的V1神经元那里得到佐证,但是不限于V1神经元的功能。通过局部感受野,第一层神经元提取图像中的诸如线点角等基本图像的特征,然后再逐步提取高层特征。
同时局部感受野可以很好的利用图像的拓扑结构,因为每个感受野里的像素点都是有空间结构的,对应全连接神经网络的缺点c。