ResNet**迁移学习

2. ResNet

#ResNet网络

ResNet网络是在2015年由微软实验室提出，其网络中的亮点为1. 提出residual结构（残差结构）2.可以搭建超深的网络结构(突破1000层)3.用Batch Normalization加速训练(丢弃dropout)
在ResNet网络提出之前，传统的卷积神经网络都是通过将一系列卷积层与下采样层进行堆叠得到的。但是当堆叠到一定网络深度时，就会出现两个问题。
1）梯度消失或梯度爆炸。随着网络的层数不断增加，梯度消失或者梯度爆炸的现象会越来越明显：假设每一层的误差梯度是一个小于1的数，在我们传播过程中每向前传播一层，都要乘以一个小于1的梯度误差，当我们的网络不断增加，梯度会越来越接近于0；反而言之，假设每一层的梯度误差是一个大于1的数，随着网络的层数不断加深，其梯度会越来越大，即出现梯度爆炸。
通过对我们的数据进行标准化处理，权重初始化，BN（Batch Normalization）
2）退化问题(degradation problem)。当我们解决了梯度消失或梯度爆炸问题后，仍然存在了神经网络的层数深没有层数浅的效果好的问题，用残差结构来解决退化问题

迁移学习

优势:1。能够快速的训练出一个理想的结果
2.当数据集较小时也能训练出理想的效果

注意：使用别人预训练模型参数时，要注意别人的预处理方式
迁移：浅层已经学习好了的角点信息，纹理信息，这些信息是比较通用的，这些信息不仅在本网络中适用在其他网络中也可以用。将已经学习好了的浅层网络的参数迁移到新的网络中去，我们在去训练所需要的高维信息的特征

常见的迁移学习的方式

1.载入权重后训练所有参数（最后一层无法载入预训练模型参数）
2.载入权重后只训练最后几层参数
3.载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层。
用第一种方法是在于你不考虑训练的时间和设备上，其效果好于后面两种

Rsenet的网络

Rsenet的网络
import torch.nn as nn
import torch
#18层或34层的resnet
class BasicBlock(nn.Module):
    expansion = 1

    def __init__(self, in_channel, out_channel, stride=1, downsample=None):
        super(BasicBlock, self).__init__()
        self.conv1 = nn.Conv2d(in_channels=in_channel, out_channels=out_channel,
                               kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channel)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel,
                               kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channel)
        self.downsample = downsample

    def forward(self, x):
        identity = x
        if self.downsample is not None:
            identity = self.downsample(x)#残差结构 

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)

        out +=