AI-013: 吴恩达教授（Andrew Ng）的机器学习课程学习笔记48

本文是学习Andrew Ng的机器学习系列教程的学习笔记。教学视频地址：

https://study.163.com/course/introduction.htm?courseId=1004570029#/courseDetail?tab=1

48. 机器学习的建议

a. 如果学习算法没有很好的预测结果，可以从几个方面优化：

• 获得更多的训练数据 - 修复高方差
• 减少特征 - 修复高方差
• 增加其他特征 - 修复高偏差
• 增加高阶特征多项式 - 修复高偏差
• 减小正则参数lambda - 修复高偏差
• 增加正则参数lambad - 修复高方差

b. 可以将已有的数据分成三部分，大概60%用来训练，20%用来交叉验证cross validate，20%用来测试。测试结果判断：

• 当预测与实际有较大偏差时，欠拟合；
• 当预测与实际有较大方差时，过拟合；

可以通过学习曲线learning curves来检验算法是高偏差还是高方差：

c. 然后通过正则化来解决欠拟合和过拟合，要选择适中的正则化参数lambda：

• 先尝试lambda = 0
• 尝试lambda = 0.01
• 尝试lambda = 0.02
• ...
• 尝试lambda = 10

当欠拟合时（即偏差大），则需要降低lambda；

当过拟合时（即方差大），则需要增大lambda;

d. 神经网络的过拟合问题：

对于神经网络而言，通过正则化消除过拟合后，网络规模越大，预测效果越好；问题是会造成计算成本上升；

可以逐步尝试，先使用1个隐藏层、然后使用2个隐藏层...看哪个能得到更好效果；