网络深了会发生什么问题？

其实很不想说这个问题，太小儿科了，但是面试时候，我反驳面试官说的说法，直接失去了offer机会。

随着网络层数的增加，训练的问题随之凸显。

1 比较显著的问题有梯度消失／爆炸，这会在一开始就影响收敛。

1.1  在深层网络能够收敛的前提下，随着网络深度的增加，正确率开始饱和甚至下降，称之为网络的退化（ｄｅｇｒａｄａｔｉｏｎ）问题。

1.2 在给定的网络上增加层数会增大训练误差。

2 考虑一个浅层的网络架构和在它基础上构建的深层网络，在极端条件下，如果增加的所有层都是前一层的直接复制，这种情况下深层网络的训练误差应该和浅层网络相等。

网络的退化说明不是所有的系统都很容易优化，网络退化的根本原因还是优化问题。为了解决优化的难题，提出了残差网络。

随着网络的加深，出现了训练集准确率下降的现象，文献Ｈｅ Ｋ，Ｉｄｅｎｔｉｔｙ ｍＡＰｐｉｎｇｓ ｉｎ Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ［Ｍ］  ．可以确定这不是由于过拟合（Ｏｖｅｒｆｉｔ）造成的（过拟合的情况训练集应该准确率很高），面试官说是过拟合。嗨。。。。