深度学习模型汇总(one)

1、卷积神经网络CNN

$\quad$从神经学角度来说，卷积神经网络的设计灵感来自人脑视觉皮层对外界事物的感知，人眼以图像的形式把感知到的事物传递给大脑，大脑童工逐层的对该图像进行抽象，抽取出图像的边角等代表图像的高维特征给大脑作出准确的判断。

$\quad$CNN的两个核心操作：卷积和池化.

1. 卷积：主要作用是抽取特征，是网络具有一定转移不变性，也有一定降维作用。一般设定一个3*3或5*5的卷积窗口，采用relu激活函数，对输入X进行卷积操作。卷积可能是单通道也可能是多通道的。操作时分为padding和非padding两种方式。padding分zero-或mean-等。对同一个输入可以设置不同的卷积窗口或步长来尽可能的多抽取特征。
2. 池化：主要起到降维作用。设置一个池化窗口，对X进行池化，采用relu或sigmod做激活函数，注意函数的饱和死区特性导致的反向传播时梯度消失问题，可以配合Batch Normalization使用。池化有最大池化或平均池化。

$\quad$CNN的三个概念：局部感知野、权值共享和下采样/降采样.

• 局部感知野：卷积操作时卷积与X重合的部分。
• 权值共享：卷积或池化操作时，窗口的权值保持不变。
• 下采样：即池化操作

比较经典的卷积网路有：AlexNet，VGGNet，Google Inception Net，ResNet等。

1. AlexNet：2012年由Hinton学生Alex提出，是Lenet加宽版。其采用了一系列的新技术：成功的引用了relu、dropout和lrn等trick，首次采用gpu加速。其包含65万神经元，5个卷积层，三个后面带有池化池，最后用了三个全链接。
2. VGGNet探索了卷积神经网络的深度与其性能之间的关系，反复堆叠3*3的小型卷积核与2*2的最大池化，构建了16-19层深度的卷积神经网络。其扩展性强，迁移到其他图像数据上的泛化很好。
3. google inception net：最大的特点是控制计算量和参数量的的同时效果还更好比之前两种网络。原因有二：1、去电了最后的全联接层，采用全局平均池化。2、精心设计了inception module 提高了参数利用率。
4. ResNet：resnet允许原始输入信息直接传递到后面的层中，构成一个残差单元，这样相当于改变了学习目标，学习的不再是一个完整的输出，而是输出与输入的差。与普通的cnn相比，resnet最大的不同在于resnet有很多的旁路直线将输出直接链接到网络后面的层中，使得网络后面的层也可以学习残差，这种网络结构成为shortcut或skip connection。这么做解决了传统cnn在传递信息时或多或少的丢失信息的问题，保护了数据了完整性，整个网络只需要学习输入与输出差别的一部分。