深度学习_10_4_经典卷积网络VGG,GoogLeNet,Inception-1&BatchNorm

最新推荐文章于 2023-01-12 15:42:38 发布

小明2766

最新推荐文章于 2023-01-12 15:42:38 发布

阅读量351

点赞数 1

分类专栏： # 深度学习&Tensorflow 文章标签： python 深度学习卷积神经网络

本文链接：https://blog.csdn.net/bill2766/article/details/116834571

版权

深度学习&Tensorflow 专栏收录该内容

25 篇文章 6 订阅

订阅专栏

10_4_经典卷积网络VGG,GoogLeNet,Inception-1&BatchNorm

ImageNet

AlexNet错误率减了10个百分点

VGG……

在这里插入图片描述

LeNet-5

2卷积层+3

在这里插入图片描述

AlexNet

5卷积层+3

准确率提升

使用了pooling结构

引进ReLU

引入Dropout

在这里插入图片描述

VGG

6个版本，VGG-11 VGG-16 VGG-19……

小窗口3*3、1*1，感受小视野。减少了计算量，并且不损害进度，而且计算很快。

在这里插入图片描述

1*1 Convolution

1*1卷积，输出图像大小是一样的。对整个32个通道做convolution，channel变化，实现了维度的改变。

目前常用的是1*1与3*3

在这里插入图片描述

GoogLeNet

探索出：使用更小的卷积核；

对同一层，使用多个不同类型的卷积核：

前面3个的stride一定变成2，对图片大小保持一样，后面
Filter concatenation：把来自于不同类型的核再做一个concat

通过这种方法，感受不同大小的视野，全局和局部的信息，获得更多信息量。

在这里插入图片描述

具体结构：

在这里插入图片描述

Stack more layers?

降低loss并不能简单地堆叠层，但是ResNet能解决这个问题。

在这里插入图片描述

Batch Normalization

Intuitive explanation

对于Sigmoid函数，在x<-4或>4的时候是很大的空间，导数接近于0，出现梯度离散的情况。一旦输入不在这个有效的空间里，就会出现梯度为0的情况，很长时间得不到更新，这不是我们希望的。因此会避免使用sigmoid函数，而使用ReLU函数。

如果一定要用sigmoid函数，那么我们需要把输入的值控制在有效的范围之内，做Normalization操作，做等效变换，N(0, $\sigma^2$ )，以0为均值， $\sigma$ 为方差。促使落在有效区间附近，在小的范围之内变动，方便优化。

在这里插入图片描述

Feature scaling 权值缩放思想

Image Normalization

图片预处理中，有Image Normalization的步骤，图片数据从[0,255]映射到[0,1]的浮点数的空间，是在0的右侧的分布。

在深度学习，希望数据在x的周围分布，左右对等的分布。直观的原因：比如sigmoid函数的图像，当x比较大或小的时候，梯度趋向于0，我们希望神经网络的值能够在0的周围对称分布

$x - m e a n$ 为平移， $x / s t d$ 为放缩，把数值放到0的周围。通过平移+放缩，移到[-0.5,0.5]或[-1,1]之间。

Batch Normalization
- mean均值与std方差是动态的
- 根据具体数据进行动态的计算与调整
- 并且还增加了映射的功能 $\beta$ 、 $\gamma$

在这里插入图片描述

Batch Norm

4种Normalization。

N张图片，C个channel，H和W。把前面叫做1个batch。把H和W通道混在一起，[N,C,HW]。N=6，表示6章图片；C假设=3，3个channel；HW=784。

Batch Norm，生成只有channel可以移动的数据，[6,3,784]->[3]。对每个channel，生成其均值与方差。取所有的实例上的channel0（1、2）上的feature的均值。生成dimension为1，shape为3的数据，代表当前batch每个channel的feature的均值与方差。消除了b（batch）和F（feature）维度，保留了channel维度。

Layer Norm类似。

在这里插入图片描述

Batch normalization

(6,784) ch0。。，这3个channel做统计数据，生成dimension为1，长度为3的统计数据。得到统计数据后，把每一个feature-统计数据 /除以方差，这个分布就接近于以0为中心，以1为方差的分布。

根据需要，得到中间值之后，额外的倍数 $\gamma$ 和偏置 $\beta$ 。生成N( $\beta$ , $\gamma$ )的分布。

这样，均值 $\mu$ 和方差 $\sigma$ 是根据当前的batch数据统计出来的，且batch会有历史的记录，总的均值 $running\_\mu$ 与总的方差 $running\_\sigma^2$ ； $\gamma$ 和 $\beta$ 是学出来的， $\gamma$ 初始化为1， $\beta$ 初始化为0，通过梯度信息慢慢会学。