CNN在图像上表现好的原因
相比于手工特征,
- CNN可以采用数据驱动的方式学习特征提取,能够提取到更好更丰富的特征。
- 深层网络可以拟合更复杂的计算,从而提取更复杂更抽象的特征。
相比于普通深度神经网络,
- 卷积核共享参数,充分利用图像上的空间局部性,因此具有参数共享和稀疏连接两条优点,不容易过拟合。
- CNN中的池化层还使网络具有平移不变性的特性。
- 参数共享: 不同图像区域用的卷积核共享一个参数
- 稀疏连接: 只在卷积视野内连接,不在全图连接
- 平移不变: 卷积和池化提供了一定的平移不变性(卷积保证了特征图会发生相应的平移,池化使感受野中发生的平移不影响激活信号),但是这样的平移不变性是有限的,因为从信号上看,还是切实发生了变化,有相关研究证明了其在平移时不是严格等价的,且会在一些情况下发生较大的识别结果变化。https://blog.csdn.net/ytusdc/article/details/107666902
理论上,
- 万能逼近定理: 只要激活函数选择得当,神经元个数足够多的,使用三层神经网络就可以实现对任何一个从输入向量到输出向量的连续映射函数的逼近
- 卷积神经网络的层次结构与人类视觉认知机制具有一定的一致性。
目前已经证明,视觉皮层具有层次结构。从视网膜传来的信号首先到达初级视觉皮层(primary visual cortex),即V1皮层。V1皮层简单神经元对一些细节