【深度学习】论网络深度的利弊

利

1. 网络容量更大 -> 模型表达（抽象）能力更强

弊

不好收敛：

1. 梯度问题 (弥散 / 爆炸) -> 收敛慢。

总结

• 深度神经网络就像一个数学公式。公式越复杂，最高项次数越高，能表达的模型就越复杂，覆盖的值域也就越广。
• But，也越容易陷入过拟合，使得模型性能不增反降。
• So，这是一个trade-off。

---

[1] 深层学习为何要“Deep”（上）
[2] 深层学习为何要“Deep”（下）