resnet(Deep Residual Learning for Image Recognition )

resnet的提出解决了网络加深后的退化问题.

vgg-net的两条构建准则：1 特征图尺寸一样的时候，滤波器的个数相同 2 特征图尺寸减半，滤波器的个数加倍。

上面的网络结构都是在stage的第一个卷积核通过步长为2 进行下采样。 

resnet的两种构建块。左边的是常规残差块。右边的是瓶颈残差块。左右两边主要都具有相同的计算复杂度，右边的用于深层网络结构，1*1卷积主要是用于降维（达到与右边相同的计算复杂度。） 

"""resnet in pytorch
[1] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun.
    Deep Residual Learning for Image Recognition
    https://arxiv.org/abs/1512.03385v1
"""

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    """Basic Block for resnet 18 and