- 博客(2)
- 收藏
- 关注
原创 《Deep residual learning for image recognition》论文阅读笔记
本周阅读了ResNet的论文,整篇文章的大概思路可以简述如下: 由于深度学习的模型“深度”愈发增加,发现了一个问题——随着网络深度的增加,准确率达到饱和后会迅速退化,并且这不是由过拟合造成的——称之为退化问题(degradation problem)。而这个问题的本质原因是,模型很难去拟合一个经历过许多非线性层的恒等映射。于是作者提出了拟合残差的思想:与其让这些层直接去拟合所需的底层映射H(x),不如让这些层去拟合残差映射F(x)=H(x)-x,因为后者会更容易优化。此时H...
2021-09-16 19:25:28
147
原创 Batch Normalization(BN)简介
目录 1提出背景 1.1ICS是什么 1.2 ICS带来的问题 1.2.1 训练速度降低 1.2.2 梯度消失问题 1.3ICS能如何被解决 1.3.1 Whitening 1.3.2Batch Normalization的提出 2 BN算法思想 2.1 大体思路 2.2 具体算法 2.2.1 Train...
2021-09-16 16:45:16
1064
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人