1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai
第二周 优化算法 Optimization Algorithms
- 2.1 Mini-batch 梯度下降法 Mini batch gradient descent
- 2.2 理解 mini-batch 梯度下降法 Understanding mini batch gradient descent
- 2.3 指数加权平均 Exponentially weighted averages
- 2.4 理解指数加权平均 Understanding exponentially weighted averages
- 2.5 指数加权平均的偏差修正 Bias correction in exponentially weighted average
- 2.6 动量梯度下降法 Gradient descent with momentum
- 2.7 RMSprop
- 2.8 Adam 优化算法 Adam optimization algorithm
- 2.9 学习率衰减 Learning rate decay
- 2.10 局部最优的问题 The problem of local optima
- 课后作业
- 课后编程
本周将学习优化算法，这能让你的NN运行得更快。
ML的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个。所以优化算法能够帮助你快速训练模型。
Deep learning does not work best in a regime of big data
其中一个难点在于，在大数据领域DL发挥的效果并不是最佳的，我们可以利用一个巨大的数据集来训练NN，而在巨大的数据集基础上进行训练速度很慢。因此，你会发现，使用快速的优化算法，使用好用的优化算法能够大大提高你和团队的效率。
2.1 Mini-batch 梯度下降法 Mini batch gradient descent
2020-5-28 吴恩达-改善深层NN-w2 优化算法(2.1 Mini-batch 梯度下降法–步骤简介/比传统下降算法运行更快-适合大数据处理)
2.2 理解 mini-batch 梯度下降法 Understanding mini batch gradient descent
2020-5-29 吴恩达-改善深层NN-w2 优化算法(2.2 理解 mini-batch 梯度下降法-作用和原理说明-传统batch和随机梯度下降比较/size的选择)
2.3 指数加权平均 Exponentially weighted averages
2020-5-29 吴恩达-改善深层NN-w2 优化算法(2.3 指数加权(移动)平均-原理)
2.4 理解指数加权平均 Understanding exponentially weighted averages
2020-6-1 吴恩达-改善深层NN-w2 优化算法(2.4 理解指数加权平均–平均值就是达到指数衰减到峰值的三分之一的天数)
2.5 指数加权平均的偏差修正 Bias correction in exponentially weighted average
2020-6-2 吴恩达-改善深层NN-w2 优化算法(2.5 指数加权平均的偏差修正–让初始时期预测更加准确)
2.6 动量梯度下降法 Gradient descent with momentum
2020-6-2 吴恩达-改善深层NN-w2 优化算法(2.6 动量（Momentum）梯度下降法-加快梯度下降-解决传统/min-batch下降路线折来折去浪费时间的问题)
2.7 RMSprop
2020-6-3 吴恩达-改善深层NN-w2 优化算法(2.7 RMSprop -消除梯度下降中的摆动，加速下降，加快学习 -和动量异同点)
2.8 Adam 优化算法 Adam optimization algorithm
2020-6-3 吴恩达-改善深层NN-w2 优化算法(2.8 Adam 优化算法–将Momentum和RMSprop结合在一起)
2.9 学习率衰减 Learning rate decay
2020-6-4 吴恩达-改善深层NN-w2 优化算法(2.9 学习率衰减–加快学习。梯度下降初期设置大一些，开始收敛就把它调小一些。)
2.10 局部最优的问题 The problem of local optima
2020-6-4 吴恩达-改善深层NN-w2 优化算法(2.10 局部最优的问题–高维遇到鞍点，平稳段需要使用优化算法加速学习)
课后作业
2020-8-5 吴恩达-改善深层NN-w2 优化算法(课后作业)
课后编程
2020-8-15 吴恩达-改善深层NN-w2 优化算法(课后编程-Optimization Methods-3种算法：Mini-batch下降/带动量/Adam)
606
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
