算法性能评估以及诊断法

问题介绍

我们大致可以将训练出的参数分为三类：欠拟合、正常、过拟合。

以方程次数为例，对于一个简单的单特征值问题，我们可能拟出如下模型：

而方程次数过低容易导致欠拟合，方程次数过高可能导致过拟合：

方程次数选

首先来讲一个比较简单的方法，我们把数据集分成训练集（70%）和测试集（30%），用每一种方程训练集得出对应的最优参数$\theta$。

然后每个方程用对应的参数$\theta$去测试集上跑，得出在测试集上的误差$J_{test}(\theta )$，然后选择一个较小的作为最后的结果（方程次数和对应参数）。

然而这样并不公平，因为方程的次数$d$也是一个参数，而这个$d$相当于在测试集中拟合而出，可能不具备可推广性。

做法：

所以我们将数据分成三部分：训练集（60%）、交叉验证集（20%）、测试集（20%）。

再验证集中拟合出参数$d$（选择$J_{cv}(\theta )$最小的那个），再到测试集中跑出实际的测试误差$J_{test}(\theta )$。

偏差与方差的判断

我们画出$d$与训练集误差和验证集误差的关系：

可以得出结论：

• 高偏差（欠拟合）：$J_{test}(\theta )$与$J_{cv}(\theta )$都很大，且较为接近
• 高方差（过拟合）：$J_{test}(\theta )$远小于$J_{cv}(\theta )$

$\lambda$的选择

正则化中的惩罚力度$\lambda$的地位类似上述的$d$。

λ过大时不能拟合，过小时又不能正则化导致过拟合。

我们可以用选择$d$的方式让自动选择λ：

我们画出$\lambda$与训练集误差和验证集误差的关系：

得出相同的结论：

• 高偏差（欠拟合）：$J_{test}(\theta )$与$J_{cv}(\theta )$都很大，且较为接近
• 高方差（过拟合）：$J_{test}(\theta )$远小于$J_{cv}(\theta )$

学习曲线

我们画出$J_{test}(\theta )、J_{cv}(\theta )$与测试样本数量的关系图：

• 正常情况下，两个在一定数据后都较小，且随着数据量的增加趋向于相同
  

• 高偏差时，两个都很高，且趋于相同，趋于水平（增加数据量无效）：
  

• 高方差时，$J_{test}(\theta )$较小，而$J_{cv}(\theta )$较大。随着数据量的增加，过拟合的现象会有所改善，所以两条线会慢慢接近（需要增加数据量）
  

解决方法

在确定是高方差（过拟合）时，我们可以尝试：

• 增加数据量
• 减少特征
• 增加$\lambda$

高偏差（欠拟合）时，我们可以尝试：

• 增加特征
• 增加多项式
• 减少$\lambda$

神经网络

小型神经网络容易欠拟合，大型的容易过拟合