2020-6-8 吴恩达-改善深层NN-w3 超参数调试(3.1 调试处理-指导原则，随机选取点和由粗糙到精细调参)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

NN的改变会涉及到许多不同超参数的设置。本节课将分享一些超参数设定的指导原则，以及一些关于如何系统地组织超参调试过程的技巧。

3.1.1 超参数设定的指导原则

关于训练深度最难的事情之一是你要处理的参数的数量

• 学习速率 $\alpha$
• Momentum（动量梯度下降法）的参数 $\beta$
• 使用Momentum和RMSprop结合一起的Adam优化算法，有参数${\beta }_1$， β 2 \beta_2 β