吴恩达机器学习笔记38-决策下一步做什么（Deciding What to Do Next Revisited）

　　我们已经讨论了模型选择问题，偏差和方差的问题。
那么这些诊断法则怎样帮助我们判断，哪些方法可能有助于改进学习算法的效果，而哪些可
能是徒劳的呢？
　　让我们再次回到最开始的例子，在那里寻找答案，这就是我们之前的例子。回顾 1.1
中提出的六种可选的下一步，让我们来看一看我们在什么情况下应该怎样选择：

　　1. 获得更多的训练实例——解决高方差
　　2. 尝试减少特征的数量——解决高方差
　　3. 尝试获得更多的特征——解决高偏差
　　4. 尝试增加多项式特征——解决高偏差
　　5. 尝试减少正则化程度λ——解决高偏差
　　6. 尝试增加正则化程度λ——解决高方差

（欠拟合改进方法：增加feature；减小lambda

过拟合改进方法：增加样本数；引入正则化；减少feature；增加lambda）

　　使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代
价较小；

　　使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算
代价比较大，但是可以通过正则化手段来调整而更加适应数据；通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。

　　对于神经网络中的隐藏层的层数的选择，通常从一层开始逐渐增加层数，为了更好地
作选择，可以把数据分为训练集、交叉验证集和测试集，针对不同隐藏层层数的神经网络训练神经网络， 然后选择交叉验证集代价最小的神经网络。

转载于:https://www.cnblogs.com/sl0309/p/10467679.html