目标检测(一)

卷积神经网络结构发展历程，那些留下过名字的模型：
LeNet ----> AlexNet ----> ZFNet —> VGGNet —> GoogleNet ---->ResNet ----> DenseNet
每个经典的模型都提出创意性的概念：
1、leNet :Gradient-Based Learning Applied to Document Recognition
特点：

• shared weight 权值共享：减少神经网络中间变两个数。全职共享为什么有效：图像和核进行卷积结果反应了一定的边缘和梯度信息，每个神经元(卷积核)代表了不同的(边缘)特征，所以同一层中的每个神经元卷积结果反映了前一层的不同特征模式，本质上还是神经网络(多组特征的组合)。
• 确定了之后卷积神经网络的基本套路：卷积、非线性化->池化 + 全连接层分类或回归
  

2、AlexNet ：ImageNet Classification with Deep Convolutional Neural Networks
特点：

• 正则化方法Dropout:（之前的总结）
  1、前向传播中，在隐藏层以一定的概率使个别神经元失活
  2、前向传播中，要对没有失活的数据进行scale
  3、反向传播中，在前向阶段失活的神经元依然保持失活
  4、test 和应用阶段，不需要进行 dropout
• loca response normalization(LRN)： 目的提高泛化能力(已经很少使用了)
• 使用激活函数Relu ： 防止梯度弥散，加快模型训练速度
  

3、ZFNet Visualizing and Understanding
Convolutional Networks
网络结构上面：调整了卷积核大小，stride 。取得一些提升，也证明了感受野的大小对结果时有影响的。不同深度的网络学习到的特征对分类有作用。
特点

• 特征可视化：反卷积、反激活、反池化

4、VGG-Net Very Deep Convolutional Networks for Large-Scale Visual Recognition

特点：

• 深：就像文章的名称一样，VGG-Net在深度上进行的探索。
  提出了分阶段预训练的方法来初始化权重。先训练一部分浅层的网络然后在此基础上进行加深。
• 小尺寸的卷积核多次使用1X1的卷积核：1X1的卷积和不改变输入的维度，增加非线性性。（可以起到降维的作用）

GoogleNet(Inception)：Going deeper with convolutions
特点：

• inception结构：
  
  这个结构的意义在于，在该层中感受野是可选择的，自适应的，这个中结构相当于提供了多种感受野，训练的权重会倾向于某些大小的核。卷积不同核的pading 选择不同的大小确保卷积后的大小（H、W）一致。
• 1X1的卷积核： 降维，减少参数

5、ResNet Deep Residual Learning for Image Recognition
特点

• resdual 结构：这种结构是的，神经网络在更深的层数时能够保持性能。