吴恩达 coursera AI 专项二第二课总结+作业答案

前言

吴恩达的课程堪称经典，有必要总结一下。
学以致用，以学促用，通过笔记总结，巩固学习成果，复习新学的概念。

目录

正文

优化算法 随机样本梯度下降

批量和小批量梯度下降的比较。
小批量梯度下降算法
批量和小批量下降时的误差曲线。
选择你的样本规模
典型的小批量数量选择方式。

伦敦的气温，指数化归一加权。
指数化加权平均。
通过加权平均，平滑变化率。
手动实现一个加权平均。
梯度计算中的偏差校正
梯度下降中的例子，有时候震荡回比较厉害。
momentum（动量）更新的实现细节。
梯度更新的方法。
Adam优化算法.
超参数选择方案。
学习率更新方案。
学习率下降方案，更适应具体的问题。
其他的学习率下降方法。

局部最小值问题

算法有可能收敛到局部最小值，鞍点。
平原问题，更新较慢，但仍在更新。