吴恩达机器学习笔记-应用机器学习的建议(Advice for Applying Machine Learning)

• 评估假设函数

​为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集。

                                            

      1.对于线性回归模型，我们利用测试集数据计算代价函数J(θ)

                                       

     2.对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外。我们还可以通过误分类的比率，对于每一个测试集样本，计算

                                             

 

最后对计算结果求平均值。 

• 模型选择和交叉验证

越高次数的多项式模型越能够适应我们的训练数据集，但是适应训练数据集并不代表着能推广至一般情况，我们应该选择一个泛化能力好的模型。我们需要使用交叉验证集来帮助选择模型。即：使用60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用20%的数据作为测试集。训练集、验证集和测试机的误差计算方法如下：

     

 

模型选择的方法为：

1. 使用训练集训练出10个模型

2. 用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）

3. 选取代价函数值最小的模型

4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值）

                                               

• 偏差和方差

当你运行一个学习算法时，如果这个算法的表现不理想，要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟合问题高偏差和高方差的问题基本上来说是欠拟合和过拟合的问题。

                                   

我们通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析。

                                                

 

对于训练集，当模型拟合程度更低，误差较大；随着多项式次数的增长，拟合程度提高，误差减小。对于交叉验证集，当 模型拟合程度低，误差较大；但是随着次数的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。

                               

​

我们如何判断是方差还是偏差呢？根据上面的图表，可以这样来看。训练集误差和交叉验证集误差近似时：高偏差/欠拟合。交叉验证集误差远大于训练集误差时：高方差/过拟合。

• 正则化和偏差方差

在我们在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能会正则化的程度太高或太小了，即我们在选择λ的值时也需要思考。

                                        

我们如何把从一系列的λ的值中选择最好的？

                                                             

 

选择的方法为：

1. 使用训练集训练出12个不同程度正则化的模型
2. 用12个模型分别对交叉验证集计算的出交叉验证误差
3. 选择得出交叉验证误差最小的模型
4. 运用步骤3中选出模型对测试集计算得出泛化误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上。

                                                

当λ较小时，训练集误差较小（过拟合）而交叉验证集误差较大，随着λ的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加。

• 学习曲线

学习曲线是一种很好的工具，使用学习曲线来判断某一个学习算法是否处于偏差、方差问题。学习曲线是将训练集误差和交叉验证集误差作为y轴上数据，训练集样本数量作为x轴走向数据绘制的图表。即，如果我们有100行数据，我们从1行数据开始，逐渐学习更多行的数据。思想是：当训练较少行数据的时候，训练的模型将能够非常完美地适应较少的训练数据，但是训练出来的模型却不能很好地适应交叉验证集数据或测试集数据。

                                      

 首先来看看高偏差/欠拟合的情况，可以看出error值较大，训练集和交叉验证集误差相近。并且在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助。

                                                      

对于高方差/过拟合的情况， 如下图看出，error值最终走向较小，训练集误差和交叉验证集误差之间距离较远。假设我们使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果。也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。

                                

• 决定下一步干什么

1. 获得更多的训练样本——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度λ——解决高偏差
6. 尝试增加正则化程度λ——解决高方差

使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合。但计算代价较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合。通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。对于神经网络中的隐藏层的层数的选择，通常从一层开始逐渐增加层数，为了更好地作选择，可以把数据分为训练集、交叉验证集和测试集，针对不同隐藏层层数的神经网络训练神经网络，然后选择交叉验证集代价最小的神经网络。

• 误差分析

构建一个学习算法的推荐方法为：

1.从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法

2.绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择

3.进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的样本，看看这些样本是否有某种系统化的趋势

推荐在交叉验证集上来实施误差分析，而不是在测试集上。总结一下，当你在研究一个新的机器学习问题时，我总是推荐你实现一个较为简单快速、即便不是那么完美的算法大家经常干的事情是：花费大量的时间在构造算法上，构造他们以为的简单的方法。因此，不要担心你的算法太简单，或者太不完美，而是尽可能快地实现你的算法。当你有了初始的实现之后，它会变成一个非常有力的工具，来帮助你决定下一步的做法。因为我们可以先看看算法造成的错误，通过误差分析，来看看他犯了什么错，然后来决定优化的方式。

• 查全率P和查准率R

                         

                               

我们可以将不同阀值情况下，查全率与查准率的关系绘制成图表，曲线的形状根据数据的不同而不同。对于不同的曲线我们选择我们选择使得F1值最高的阀值。