cnn起源_CNN初探

全文共6200余字，浅显易懂，预计阅读时间12分钟

卷积神经网络(Convolutional Neural Network, CNN/ConvNets)是一种专门来处理具有类似网格结构数据的前馈神经网络(feed-forward neural networks)，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。事实上，目前CNN在图像识别的认知能力，已经超越了人类自身。本文将从以下四个方面对CNN进行阐述：卷积神经网络解决什么问题

诞生——从神经科学获得灵感

原理——卷积池化和全连接层

总结

一、卷积神经网络解决什么问题

目前卷积神经网络主要应用于计算机视觉领域。如下图所示，为图像自动生成标签的任务，就可以通过卷积神经网络来实现。

对于人类来说，识别上面这张图片几乎是一个无意识的动作。然而这张图片在计算机看来，却是一个480(height) * 480(width) * 3(depth/RGB)的像素点阵组成的数字组合，每个数字的取值范围都在0~255之间。计算机如何通过这样的一个多维数组，将输入的图像进行分类并计算其概率，就是卷积神经网络主要解决的问题。

二、诞生——从神经科学获得灵感

1958年，David Hunter Hubel和Torsten Wiesel在The JohnHopkinsUniversity通过对小猫进行实验，观察猫的脑内神经元是如何响应投影在猫前方屏幕上的图像。实验表明，小猫脑内的每个单个神经元只对特定的图像特征有反应，比如有些神经元会被图像中横向的边缘所激活，另一些神经元则被纵向的或者对角方向的边缘所激活，而还有些神经元对亮光带和暗光带的反应模式也不相同。

这说明，单个神经元的作用域并不是整个图像，而只是图像的一个子集，这个子集就叫做感受野(Receptive Field)。相邻的神经元有着相似的，相互重叠的感受野，所有神经元有序的组织起来共同形成对图像的认知。整个实验的过程及结论被记录在了他们1959年发表的论文中，这篇论文奠定了此后二十年间他们对大脑皮层研究取得优秀成果的基础。

他们还在研究中发现，视觉系统的信息处理是分层的。图片来源：真的，关于深度学习与计算机视觉，看这一篇就够了 | 雷锋网公开课

受感受野及视觉系统的分级信息处理的启发，第一个卷积神经网络——时延神经网络(Time Delay Neural Networks，TDNN)于1989年被Hinton等人提出，初衷是为了解决语音识别中传统方法隐马尔可夫模型(HiddenMarkov Model，HMM)无法适应语音信号中的动态时域变化的问题。该结构参数较少，进行语音识别不需要预先将音标与音频在时间线上进行对齐，实验证明TDNN相比HMM表现更好。

随后，LeCun于同年在识别手写邮政编码的系统中引入了卷积运算，并且通过反向传播的方法从图像中自动学习到了卷积核系数，使得整个训练过程完全自动化，实现了第一个真正意义上的卷积神经网络。

真正使卷积神经网络大放异彩，在计算机视觉领域应用的如火如荼的事件，还要源于2012年举办的年度计算机视觉领域“奥林匹克”比赛——ImageNet竞赛。Alex Krizhevsky使用卷积神经网络将图片分类的错误率从26%降低至了15%，这绝对是一个惊人的进步。从那时起，众多的大佬级公司开始重视并应用卷积神经网络于他们的产品中。图片来源：A Beginner's Guide To Understanding Convolutional Neural Networks

三、原理——卷积池化和全连接层

如果你看懂了上面介绍的卷积神经网络的起源，那么恭喜你，对于卷积神经网络的学习你已经成功一半了，因为卷积神经网络究其根源就是对视觉系统的模拟。源于模拟而最终超越，人类就是这么可怕。

下面我们开始具体讲解卷积神经网络的原理。在讲解神经网络之前，先简要回顾一下神经网络的基本概念。

a) 神经网络基础

什么是神经网络？ 具体对神经网络及我们后面要提到的后向传播算法(Backpropagation)的讲解请查看本专栏发布的科普文章：

神经网络是一种运算模型，由大量的神经元相互联接构成。每个节点(参见下图a)代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。典型的神经网络连接——