撑起CV的半边天：ResNet学习笔记

《Deep Residual Learning for Image Recognition》

2015 作者：何凯文

摘要

深的神经网络很难训练，我们用残差学习的框架使其容易

把层作为学习残差函数相对于层输入的方法，而不是unreferenced function

容易训练、精度高

对视觉来说，深度是很重要的

intro

DCNN好，越深得到的特征越多，但是

第一页图：在传统模型厂，层数大了之后训练不动，误差越来越大

identify mapping：浅的网络如果够好，深的网络不应该变差，但是实际做不到，SGD找不到最优解

本篇文章提出了一个mapping的方法：深度残差网络中残差块

干什么：要学的是x，要在x的学习输出H(x)之上加层，加的时候不学第一次的输出H(x)，而学F(x)=H(x)-x，即学到的东西和实际的x的残差，如此最后的输出是F(x)+x

相关工作

处理输入输出形状不同：1.在输入输出都添加额外的0，然他们对应2.投影，使用1X1的卷积

实现

把短边随机的裁到[256,480]大小，颜色调调

没有全连接所以没有dropout

实验

比较没有使用残差的18层和34层网络

在使用res前，18层的error要比34的小

使用了之后，34层的error比18的小，更好

在通道数大了之后添加bottomNet，对残差块的设计进行更高，先投影到64再卷积再投影回128、256。。。