Resnet理解

---

之前跑的卷积网络都是10层左右的，层数再深训练速度慢且网络模型不好搭建，终于有时间看resnet了。

一.关于resnet

PlainNet结构主要基于VGG修改而得到，ResNet结构主要结构与PlainNet一致，只是多了许多 shortCut连接,可以发现，通过shortcut，整个ResNet就可以看成是许多个residual block堆叠而成。

        H(X) 是一个有若干堆叠的网络层将进行拟合的映射.之前的做法是让这些层去逼近H(X)，现在更期望让它们去逼近残差函数F(X)：=H(X)-X。对应的可以将原始的方程改成F(X)+X，且F=W2*Relu(W1*X)则H(X)=W2*Relu(W1*X)+X。
        尽管这两种形式都应该可以逐步逼近目标函数（根据假设），但训练的简便程度也将大不相同。
        考虑到x的维度与F(X)维度可能不匹配情况，需进行维度匹配。这里论文中采用两种方法解决这一问题(其实是三种，但通过实验发现第三种方法会使performance急剧下降，故不采用):
        考虑到x的维度与F(X)维度可能不匹配情况，需进行维度匹配。这里论文中采用两种方法解决这一问题(其实是三种，但通过实验发现第三种方法会使performance急剧下降，故不采用):
A.zero_padding:对恒等层进行0填充的方式将维度补充完整。这种方法不会增加额外的参数
B.projection:在恒等层采用1x1的卷积核来增加维度。这种方法会增加额外的参数
       实际中，考虑计算的成本，对残差块做了计算优化，即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。

       残差网络实现点：1.MomentumOptimizer参数为0.9 2. 使用了较少的池化层3. 没有使用Dropout，利用BN和全局平均池化进行正则化，除第一层外卷积层后都加BN。4.最后一层用到global average pooling

二 resnet结构

三 resnet测试

cifar10
batchsize=128,200个epoch，则一个epoch约为50000/128=390steps.大概跑10个小时左右。
- relu test error 0.0855
- relubn test error 0.0553

cifar100
batchsize=128,200个epoch，则一个epoch约为50000/128=390steps.大概跑19个小时左右。
- relu test error 0.3052
- relubn test error 0.2215
rexnet’确实很有效，但是网络层数加深，时间也翻了好几倍，相比ALL-CNN跑cifar10和cifar100，一下午搞定，准确率达到90%和65%左右。

四 需注意

1.池化层(pooling)[平均池化与最大池化]与子采样层(subsampling)的区别？
解析：
       狭义理解，意思是一样的。广义理解，子采样与池化是包含与被包含的关系，子采样的范围更大，而池化仅是其中的一种特例。
pooling叫做下采样是不对的，因为在具体实现中，pooling有很多高级的算法，但最经常用到的还是取最大值和取均值：用区域的最大值或者均值作pooling输出。

2.关于global average pooling
       global average pooling是对每个feature map内部取平均，每个feature map变成一个值（因为kernel的大小设置成和feature map的相同），10个feature map就变成一个10维的向量，然后直接输入到softmax中。
       注意在gap之前的话，一般feature map的个数就已经等于class number了。这样你直接做了gap操作以后再加上一个softmax operator即可。

gap input: [None, 1024, 8, 8]
gap output: [None, 1024]
l = GlobalAvgPooling('gap', l)