（深度学习笔记 by Andrew Ng）机器学习策略

ML策略？

我们从一个启发性的例子开始讲，假设你正在调试你的猫分类器，经过一段时间的调整，你的系统达到了90%准确率，但对你的应用程序来说还不够好，这时候，你可能有很多想法去改善你的系统，比如，

1. Collect more data
2. Collect more diverse training set
3. Train algorithm longer with gradient decent
4. Try Adam instead of gradient decent
5. Try bigger network
6. Try smaller network
7. Try drop out
8. Add L2 regularization
9. Network architecture
   :activation fuctions
   :#hidden units

正交化（Orthogonalization）

搭建建立机器学习系统的挑战之一是，你可以尝试和改变的东西太多太多了。比如说，有那么多的超参数可以调！但，那些效率很高的机器学习专家有个特点，他们思维清晰，对于要调整什么来达到某个效果，非常清楚，这个步骤我们称之为正交化。