吴恩达机器学习-应用机器学习的建议

应 用 机 器 学 习 的 建 议

引入

假如说你发现在预测房价时产生了巨大的误差，现在你的问题是
要想改进这个算法，接下来应该怎么办？
获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。
1.尝试减少特征的数量
2.尝试获得更多的特征
3.尝试增加多项式特征
4.尝试减少正则化程度λ
5.尝试增加正则化程度λ
运用一些"机器学习诊断法"来帮助我们知道上面哪些方法对我们的算法是有效的。“诊断法”的意思是：这是一种测试法，你通过执行这种测试，能够深入了解某种算法到底是否有用。这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试，才是有意义的

评估一个假设

如何判断一个假设函数是过拟合的呢？
为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用 70%的数据作为训练集，用剩下 30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集

测试集评估在通过训练集让我们的模型学习得出其参数theta后，将theta代入测试集模型，(对测试集运用该模型)，我们有两种方式计算误差：
1.对于线性回归模型，我我们利用测试集数据计算代价函数J
2.对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外

模型选择和交叉验证集

假设我们要在 10 个不同次数的二项式模型之间进行选择
我们应该选择一个更能适应一般情况的模型。我们需要使用交叉验证集来帮助选择模型。
即：使用 60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用 20%的数据作为测试集
模型选择的方法为：
1.使用训练集训练出 10 个模型
2. 用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
3. 选取代价函数值最小的模型
4. 用步骤 3 中选出的模型对测试集计算得出推广误差（代价函数的值）

计算各个误差的公式：

诊断偏差和方差

当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：
要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟
合问题。

我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张
图表上来帮助分析：

对于训练集，当d 较小时，模型拟合程度更低，误差较大；随着d 的增长，拟合程度提高，误差减小。
对于交叉验证集，当 d较小时，模型拟合程度低，误差较大；但是随着d 的的增长，
误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。

如果我们的交叉验证集误差较大，我们如何判断是方差还是偏差呢？


训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时：方差/过拟合

正则化和偏差/ 方差

一般会使用一些正则化方法来防止过拟合。但是我们可能会正则化的程度太高或太小了，即我们在选择 λ 的值时也需要思考与刚才选择多项式模型次数类似的问题
我们选择一系列的想要测试的 lamda 值，通常是 0-10 之间的呈现 2 倍关系的值（如图，共 12 个）。我们同样把数据分为训练集、交叉验证集和测试集
选择λ 的方法为：
1.使用训练集训练出 12 个不同程度正则化的模型
2.用 12 个模型分别对交叉验证集计算的出交叉验证误差
3.选择得出交叉验证误差 最小的模型
4.运用步骤 3 中选出模型对测试集计算得出推广误差

验证集模型的代价函数误差与 λ 的值绘制在一张图表上：

• 当λ 较小时，训练集误差较小（过拟合）而交叉验证集误差较大
• 随着λ 的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加

学习曲线

学习曲线就是一种很好的工具，我经常使用学习曲线来判断某一个学习算法是否处于偏差、方差问题。学习曲线是学习算法的一个很好的 合理检验（sanity check）。
学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（𝑛）的函数绘制的图表。

1 高偏差/欠拟合
无论训练集有多么大，误差都不会有太大改观
2 高方差/过拟合：
当交叉验证集误差远大于训练集误差时，往往训练集增加更多数据可以提高模型的效果

小总结、神经网络的方差和偏差

第一个例子中，什么情况下应该怎样选择

1. 获得更多的训练实例——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度 λ——解决高偏差
6. 尝试增加正则化程度 λ——解决高方差

神经网络的方差和偏差：

使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代价较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过正则化手段来调整而更加适应数据。
通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。
对于神经网络中的隐藏层的层数的选择，通常从一层开始逐渐增加层数，为了更好地作选择，可以把数据分为训练集、交叉验证集和测试集，针对不同隐藏层层数的神经网络训练神经网络， 然后选择交叉验证集代价最小的神经网络。