Deep Learning 圣经
二. 深度网络:现代实践
这一部分是炼丹师需要掌握的核心知识,介绍了深度前馈网络,卷积网络, 循环和递归网络,实践性很强的调参技巧如深度学习的正则化,深度模型中的优化方法等等。对于长时间耕耘炼丹这一领域,是需要反复研读实践的。每个点都是可以深入坑。
1. 深度学习的模型
- 前馈网络
- 卷积网络
- 循环网络
- 递归网络
- 生成对抗网络
2. 深度学习的正则化
- L 1 L^1 L1和 L 2 L^2 L2范数的正则化
- 数据集增强
- 注入噪声
- 提前终止
- 参数绑定和参数共享
- 稀疏表示
- Dropout
3. 深度学习的优化
- SGD
- 带动量的SGD
- Adam
- 牛顿法
- 共轭梯度
- BFGS