Deep Residual Learning for Image Recognition

2015-ResNet

关键词： residual connection

CV论文：一般在第一页就放一个很“好看”的图

从图可以得到的结论：深的网络更难训练 （ 不仅因为过拟合，因为训练时误差都很难降低 ）

网络结构图 

 

1*1卷积作用：改变通道数 ，提出维度匹配方法：1）补零；2）投影projection（1*1卷积）

 

从50层开始，当网络更深，学到的特征就越多，通道数可以变大，为了保证参数量差不多，设计了bottleneck design（先利用1*1减小通道，最后再通过1*1变为更大的通道）

专业英语积累

Deep Residual Learning 深度残差学习

substantially （相当多地）deeper  非常深的

The depth of representations 表示的深度

Solely due to 唯一的原因

integrate 集成

stacked layers堆叠层

nontrivial  visual recognition tasks重要的视觉识别任务

desired underlying mapping 所需的底层映射（基础映射）

asymptotically 渐进

the counterintuitive phenomena 反直觉现象

the perturbations 扰动

akin to  局限于

generic 通用的

preconditioning 预处理

auxiliary classififiers 辅助分类器

 

present 提出了

explicitly reformulate  明确的重新制定

Plain Networks 普通的网络

the shallower  较浅的

the degradation problem 退化问题

solution space 解空间   subspace子空间

vanishing gradients 梯度消失

have non-zero variances 具有非零方差

exhibit 表现出

to some extent 在一定程度上

conjecture 猜测

exponentially low convergence rates 收敛率呈指数级降低

The baseline architectures 基线架构

a shortcut connection “跳线”连接

identity mapping 恒等映射

be omitted  被省略

notations 记号

when the error plateaus 当误差趋于稳定时

from scratch 从零开始

counterparts 同类（网络）

be well addressed 被很好地解决

accuracy gains 精度收益（提高） 

be identity 一致

marginally better than 略好于 

bottleneck architectures “瓶颈” 结构？

“not overly deep” “不太深”

evaluation metrics 评价指标

ensemble result 集成的结果

exactly the same 完全相同的

horizontal flip 水平翻转