梯度消失的问题

梯度消失的问题

1.1什么是梯度消失

有人在CIFAR10这个数据集上面做了一个实验，是不是卷积层越多越好，结果发现并不是如此。在层数增加之后表现并没有有效的变好。这其实就是触发了梯度消失的问题。

因为每一层计算的梯度最终都会乘算到一起，这个数值在最后的时候就会越来越小，乘的层数多了，自然而然就会变得越来越小。底层的网络的梯度会变得特别小，很难得到有效的训练，所以整体的准确度不高。

1.2这个问题如何解决—深度残差网络

我们可以使用如下的情况来进行解决，将一个没有经过层处理的x直接传下去。

这样到底能达到一个怎样的结果呢？其实得到就是下面这个结果：
每次计算梯度的时候，因为我们加了一个x那么永远都有一个+1的存在，所以这样我们永远也不会出现梯度乘起来为0的情况了。

2.1实现

这里注意一点，想要两个可以加和，那么必须存在这样的一个情况就是，传递下来的x要和经过计算的y的（branch，channel，height，weight）是完全相同的才可以，所以我们一定要注意不能发生变形。

import numpy
import torch
from torchvision import functional as F
class ResidualBlocK(torch.nn.Module):
    def __init__(self,input_channel):
        super(ResidualBlocK,self).__init__()
        #这里我们注意我们之前使用的是矩阵合并，合并的时候是除了合并的那一个维度之外所有维度都需要相等。
        #这里我们是使用矩阵加和，所以两者的所有维度都必须是相等的，所以输入和输出的通道必须是相同的。
        self.conv1=torch.nn.Conv2d(input_channel,input_channel,kernel_size=3,padding=1)
        self.conv2=torch.nn.Conv2d(input_channel,input_channel,kernel_size=3,padding=1)

        self.input_channel=input_channel

    def forward(x):
        y=F.relu(conv1(x))
        y=conv2(y)
        return F.relu(x)
        #这里我们注意一个小的细节，relu的位置我们要带着x一起relu才可以。

class Net(torch.nn.Module):
    def __init__(self,channel):
        super(Net,self).__init__()
        self.conv1=torch.nn.Conv2d(channel,16,kernel_size=5)
        self.conv2=torch.nn.Conv2d(16,32,kernel_size=5)

        self.resi1=ResidualBlocK(16)
        self.resi2=ResidualBlocK(32)

        self.maxpool=torch.nn.MaxPool2d(2)

        self.fullconnect=torch.nn.Linear(256,10)
        #同样这个256也是算出来的，但是我们为了稳妥起见，还是自己构造一个数据集来新进行测试一下。逐步测试，每一次逐步的渐增。
        #最好是使用增量式开发来进行开发。

    def forward(x):
        input_num=x.size(0)
        x=self.maxpool(F.relu(self.conv1(x)))
        x=self.resi1(x)
        x=self.maxpool(F.relu(self.conv2(x)))
        x=self.resi2(x)
        x=x.view(input_num,-1)
        x=self.fullconnect(x)
    

2.2更多的工作

大家可以参考：
论文：Identity Mappings in Deep Residual Networks
中文翻译：https://blog.csdn.net/cdknight_happy/article/details/78994071