2020-6-24 吴恩达DL学习-C3结构化ML项目-w1 ML策略1(1.1 为什么要考虑ML策略)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

1.1 为什么要考虑ML策略 Why ML Strategy?

什么是ML策略呢？
我们从一个启发性的例子(Motivating example)开始讲

如上图，假设你正在调试你的猫分类器，经过一段时间的调整，你的系统达到了90%准确率，但对你的应用程序来说还不够好。

你可能有很多想法去改善你的系统。比如，

• 你可能想去收集更多的训练数据吧
• 或者可能你的训练集的多样性还不够，你应该收集更多不同姿势的猫咪图片
• 或者更多样化的反例集
• 或者你想再用梯度下降训练算法，训练久一点
• 或者你想尝试用一个完全不同的优化算法，比如Adam优化算法
• 或者尝试使用规模更大或者更小的NN
• 或者你想试试dropout
• 或者$L_2$正则化
• 或者你想修改网络的架构
  • 比如修改激活函数
  • 改变隐藏单元的数目之类的方法。

当你尝试优化一个DL系统时，你通常可以有很多想法可以去试。问题在于，如果你做出了错误的选择，你完全有可能白费6个月的时间，往错误的方向前进，在6个月之后才意识到这方法根本不管用。

比如，我见过一些团队花了6个月时间收集更多数据，却在6个月之后发现，这些数据几乎没有改善他们系统的性能。所以，假设你的项目没有6个月的时间可以浪费，如果有快速有效的方法能够判断哪些想法是靠谱的，或者甚至提出新的想法，判断哪些是值得一试的想法，哪些是可以放心舍弃的。

希望通过这门课程，可以教给你们一些策略，一些分析ML问题的方法，可以指引你们朝着最有希望的方向前进。

这门课中，会分享我在搭建和部署大量DL产品时学到的经验和教训，我想这些内容是这门课程独有的。

很多大学DL课程很少提到这些策略。事实上，ML策略在DL的时代也在变化，因为现在对于DL算法来说能够做到的事情，比上一代ML算法大不一样。

希望这些策略能帮助你们提高效率，让你们的DL系统更快投入实用。