深度学习——day3 经典网络和残差网络

实例探究

• 在计算机视觉任务中表现良好的神经网络框架往往也适用于其他任务

Classic networks

• [Krizhevsky et al.,2012.ImageNet classification with deep convolutional neural networks] 原文出处

LeNet-5

• 针对灰度图片
• 当时基本不使用 Padding
• 受制于当时的设备等环境限制，只能使用同数量的信道
• 建议精度原文第二段、泛读第三段

AlexNet

• 比 LeNet-5的 参数大得多

VGG - 16

• 优点：简化了神经网络结构

• 缺点：需要训练的特征量特别巨大
  
  16的意思是包含了共16个 卷积层、池化层和全连接层

• VGG - 19 文献
  [Simonyan & Zisserman 2015.Very deep convolutional networks for large-scale image recognition]

ResNet 残差网络

[He et al.,2015.Deep residual networks fo在这里插入代码片r image recognition]

Residual block 残差块

g：非线性函数

残差就是信息a^L通过捷径跳过一层或多层，从而将信息传递到神经网络的更深层

一个网络深度越深它在训练集上训练网络的效率会有所减弱，如图：

Plain指普通网络，随着网络层数增加，会产生越来越多的错误（左图蓝线），但理想情况应该是错误越来越少（左图绿线）；有效利用残差网络就可以达到左图的理想效果，帮助我们在训练深层网络时保持良好的性能。

Why ResNet Work

绿色字体的恒等函数使得a ^L 可以直接赋值给a ^L+1,这些残差块学习恒等函数很容易，能确定网络性能不会受到影响，很多时候甚至可以提高效率。

只需要添加跳远链接，就能实现ResNet
以下是相同维度的卷积层

今天状态有点不太好 ，可能是上午找论文脑袋昏了，就到这儿吧~~