CNN经典模型汇总

本文主要对CNN领域的经典模型进行汇总，算是对近期的学习做一个小总结。

基础知识

作为深度学习的基础，神经网络这个算法是必须要有深入的了解的，这里不介绍太多，简单介绍一下原理和单个神经元的结构：

一、BP神经网络的概念

BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。

二、单个神经元的结构

主要是通过对输入信号的加权求和加偏置（加权求和对应的w，偏置对应的b），然后通过通过激活函数引入非线性元素并将结果映射至0——1之间的数值（比如sigmoid函数）。具体见下图：

图片来源于台大 李宏毅 300页 PPT
https://www.slideshare.net/tw_dsconf/ss-62245351 （记得FQ）
个人觉得这个PPT非常不错，从浅到深，讲的也十分具体，有时间可以仔细看看。

CNN模型汇总

一、LeNet5 模型

LeNet5 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5（参见：Gradient-Based Learning Applied to Document Recognition）。

LeNet5 的架构基于这样的观点：（尤其是）图像的特征分布在整张图像上，以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方式。在那时候，没有 GPU 帮助训练，甚至 CPU 的速度也很慢。因此，能够保存参数以及计算过程是一个关键进展。这和将每个像素用作一个大