Deep Learnig(CNN常见网络)

1.AlexNet：现代神经网络起源

   Image Chanllenge项目介绍：1000类物体，每类1000张图片。
   传统方法思路：1.图片特征提取；2.机器学习分类。
   2010 年冠军

   2011年冠军

   2012年冠军：AlexNet

（1）AlexNet结构和参数

   先给出AlexNet的一些参数和结构图：
     卷积层：5层
     全连接层：3层
     深度：8层
     参数个数：六千万
     神经元个数：650k
     分类数目：1000类

   (1)C1（Conv_1卷积层）：输入为$227\ast 227\ast 3$，使用96个$11\ast 11\ast 3$核卷积，步长为4，卷积后长和宽为$\lfloor \frac{227-11}{4}\rfloor +1=55$，所以输出格式为$55\ast 55\ast 96$；
   (2)C2（Max_pooling层）：输入为$55\ast 55\ast 96$，pool为：3*3，步长为2，所以pool之后长宽为：$\lfloor \frac{55-3}{2}\rfloor +1=27$，输出为$27\ast 27\ast 96$；
   (3)C3 （Conv_2卷积层）：输入为:27 * 27 * 96,使用256个5 * 5 * 96,步长为1,padding为same. Padding常用的有两种same,valid:

所以此时Padding为左右两边均是2，输出结果:27 * 27 256；
   (4)Max-pooling:输入为:$27\ast 27\ast 256$,pool为33步长为1,长度为:$\lfloor \frac{27-3}{2}\rfloor +1=13$,输出结果为:$13\ast 13\ast 256$
   (5)Conv_3,Conv_4,Conv_5:输入输出均为$13\ast 13\ast 256$,步长为1,核为$3\ast 3\ast 256$,Padding为Same。
   (6)Max-pooling:输入，pool:,步长为输出结果为,也就是个特征变量。
   (7)FC:全连接层有两个隐藏层，从$9216\Rightarrow 4096\Rightarrow 4096{\Rightarrow }_{\text{softmax}}1000$

（2）参数计算

（3）影响

   a.深度学习开始标志
   b.卷积神经网络基本构成：卷积层+池化层+全连接层
   c.第一个base模型

2.VGG:AlexNet增强版

3.GoogleNet:多维度识别

4.ResNet：机器超越人类识别

5.DeepFace：结构化图片的特殊处理

6.U-Net:图片生成网络