2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践：Pandas(资源少，一次一个模型) VS Caviar(资源多，一次多个模型))

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

3.3 超参数训练的实践：Pandas VS Caviar Hyperparameters tuning in practice:Pandas vs. Caviar

本节将介绍如何组织你的超参数搜索过程。

如今的DL已经应用到许多不同的领域，某个应用领域的超参数设定，有可能通用于另一领域，不同的应用领域出现相互交融。

比如，我曾经看到过计算机视觉领域中涌现的巧妙方法，比如说Confonets或ResNets，它还成功应用于语音识别。我还看到过最初起源于语音识别的想法成功应用于NLP等等。

DL领域中，发展很好的一点是，不同应用领域的人们会阅读越来越多其它研究领域的文章，跨领域去寻找灵感。

就超参数的设定而言，我见到过有些直觉想法变得很缺乏新意。所以，即使你只研究一个问题，比如说逻辑学，你已经找到一组很好的参数设置，并继续发展算法，但是在几个月的过程中，观察到你的数据会逐渐改变；或许在你的数据中心更新了服务器，正因为有了这些变化，你原来的超参数的设定不再好用。

所以我建议，至少每隔几个月一次，重新测试或评估你的超参数，以