chapter-5-卷积神经网络

卷积神经网络的历史

1957年，Frank Rosen Blatt发明了第一代感知器，它也用f=wx+b来计算结果，并根据结果修改w的值，但它只能输出0或1。

1960年，Widrow和Hoff发明了Adaline和Madaline，这是人们第一次尝试叠加线性层来得到复杂的多层神经网络。

1986年，Rumelhart首次提出了反向传播算法。

2006年，Geoff Hinton与Ruslan Salakhutdunov合作的一篇论文表示，神经网络可以高效地训练。

但这时的神经网络还有诸多缺陷，直到2012年，Geoff Hinton组利用深度神经网络进行声学建模和语音识别。这是卷积神经网络显现其威力的第一个领域。

随后，与他同组的Alex Krizhevsky发表了一篇里程碑式的文章，首次让卷积神经网络在ImageNet分类大赛中取得了明显优于其他竞争对手的成绩。自此之后，卷积神经网络的热潮开始了。

卷积

假设我们有一个32*32*3的图像，前面我们使用的方法是把它拉伸为一个一维向量进行计算，但卷积神经网络有不同的处理方法。

卷积神经网络使用一个称为卷积核的模板，这个模板的长宽随意设定(一般长宽相同)，而深度与图像相同，其中每个栅格内存放一个W，且拥有一个总体的b。当卷积核进行计算时，它是贴在图像上，栅格与栅格对齐，分别计算对应栅格的乘积，并将结果与b相加，得出最终结果。当以某种方式遍历完图像后，即得到一个结果层。以下是一个实例：