深度学习总结：常见卷积神经网络——AlexNet，VGG，Resnet

　　学习机器学习和深度学习已经一年多了，之前一直都是用笔做记录，最近面临即将到来的春招和秋招，回过头复习之前的东西，发现很多在本子上记得不是很清晰，为了以后复习起来方便，同时全面的整理之前的东西，打算开始在博客上记录。

常见模型

首先，还是简单的介绍一下卷积神经网络的思想。人的大脑在识别图像的过程中，并不是一下子整张图同时识别，而是对于图片中的每一个特征首先局部的感知，然后更高层次对局部综合操作，从而得到全部信息。在图像中，其空间联系也是局部的像素点联系较为紧密，而距离较远的像素相关性则比较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部信息综合起来就得到了全局的信息。这是卷积神经网络具有局部感受野的特点，另一个特点是权值的共享，在整张图片中，所有的局部感受野中的权重是共享的，这大大减少了模型的规模。既然卷积核的权重共享，那么卷积核在一张图的所有局部感受野中只能提取一种特征。解决这个问题的方法是多个卷积核。我们通常用多个不同权重的卷积核对图片进行特征的提取。

Alexnet

Alexnet提出与2012年，是现代卷积网络的奠基之作，使卷积神经网络重新走入了人们的视野，Alexnet的主要创新点有：

• 首先用ReLU取代了sigmoid作为激活函数，ReLU在网络加深时的效果远远好于sigmoid函数，解决了sigmoid在网络加深时出现的梯度消失和爆炸的问题。
• 训练时加入了dropout策略，随机忽略一些神经元，以避免过拟合，起到了正则化的效果，Alexnet在网络的全连接层用到了dropout策略。
• 在CNN中开始用最大池化代替平均池化，避免了平均池化的模糊问题
• 提出了LRN层，局部响应归一化，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
• 加入CUDA训练，极大的提升了训练速度
• 开始加入数据增强，增加了泛化能力、

LRN详解