偏差、方差/欠拟合、过拟合

一、评估假设函数——训练集、验证集、测试集

1. 为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集。
   
   测试集评估在通过训练集让我们的模型学习得出其参数后，对测试集运用该模型，计算误差。

2. 用交叉验证集来帮助选择模型
   即：使用60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用20%的数据作为测试集
   
   模型选择的方法为：

   a.使用训练集训练出10个模型

   b.用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）

   c.选取代价函数值最小的模型

   d.用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值）

   二、（多项式次数）偏差、方差/欠拟合、过拟合

   
   通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析
   
   对于训练集，当多项式次数 $d$ 较小时，模型拟合程度更低，误差较大；随着 $d$ 的增长，拟合程度提高，误差减小。

对于交叉验证集，当 $d$ 较小时，模型拟合程度低，误差较大；但是随着 $d$ 的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。

训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时：方差/过拟合

三、正则化和偏差/方差

在我们在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能会正则化的程度太高或太小了，即我们在选择λ的值时也需要思考与刚才选择多项式模型次数类似的问题。
我们选择一系列的想要测试的 $\lambda$ 值，通常是 0-10之间的呈现2倍关系的值（如：$0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10$共12个）。 我们同样把数据分为训练集、交叉验证集和测试集。

使用训练集训练出12个不同程度正则化的模型
用12个模型分别对交叉验证集计算的出交叉验证误差
选择得出交叉验证误差最小的模型
运用步骤3中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上：

• 当 $\lambda$ 较小时，训练集误差较小（过拟合）而交叉验证集误差较大

• 随着 $\lambda$ 的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加

> 来个总结当遇到高偏差（欠拟合）高方差（过拟合）时的解决方案

    获得更多的训练样本——解决高方差

    尝试减少特征的数量——解决高方差

    尝试获得更多的特征——解决高偏差

    尝试增加多项式特征——解决高偏差

    尝试减少正则化程度λ——解决高偏差

    尝试增加正则化程度λ——解决高方差

参考博文