利
- 网络容量更大 -> 模型表达(抽象)能力更强
弊
不好收敛:
- 梯度问题 (弥散 / 爆炸) -> 收敛慢。
总结
- 深度神经网络就像一个数学公式。公式越复杂,最高项次数越高,能表达的模型就越复杂,覆盖的值域也就越广。
- But,也越容易陷入过拟合,使得模型性能不增反降。
- So,这是一个trade-off。
[1] 深层学习为何要“Deep”(上)
[2] 深层学习为何要“Deep”(下)
不好收敛:
[1] 深层学习为何要“Deep”(上)
[2] 深层学习为何要“Deep”(下)