西瓜书第二章模型评估与选择

说明：此篇博客是总结性，因为具体的一些方法推导和介绍足以再写一篇博客，具体细节可以查看西瓜书上的介绍。

欠拟合：是指对于训练样本的一般属性尚未学好。

过拟合：是指对于训练样本中样本的独有的性质当做训练样本的一般性质学习了。

模型评估方法：三种方法都是对数据集进行划分得到训练集S和测试集T。

1.留出法：D=S并T，空=S交T。通过分层采样法，保持测试集和训练集的数据分布一致性。用测试集结果代替泛化误差。进行多次重复训练测试求平均。

2.交叉验证法：将D划分K个大小相似的子集，保持数据分布的一致性，即采用分层采样，然后用k-1个子集作为训练集，1个子集作为测试集，然后对所有的k个结果求平均。

3.自助法：我们希望评估的是用D训练的模型，但是上述两种方法都留出了一部分作为测试集，为了减少因训练样本规模不同造成的影响，可以使用自助法。利用自助采样法，从D中进行m次采样（D的大小是m），每次都是有放回的采样，以使可以采到相同元素，这样得到大小为m的集合d，它里面很显然有重复元素，通过极限式子可以得到大约2/3的不同元素在d中，因此将其作为训练集，D-d作为测试集。

 

 

在机器学习中需要进行调参，参数包括算法参数即超参数和模型参数。

 

 

性能度量：对学习器的性能的评估，不仅需要上述的评估方法，还需要有衡量模型泛化能力的评价标准。它反应的是任务需求，比如我们希望得到挑出的西瓜中好瓜的概率。因为对于一个模型来说，模型的好坏与算法数据有关，而且还与任务需求有关，比如我们希望尽可能选出更多的好瓜任务和希望选出的瓜中好瓜的占比很大任务，他们截然相反。主要的度量标准即性能度量有错误率与准确率（错误预测样本或者正确预测样本/m），查准率与查全率和F1（描述挑出的西瓜中有多少比例是好瓜和所有好瓜中有多少比例被挑了出来，详见西瓜书P30，书中非常详尽），ROC与AUC（针对模型预测序列而言的度量，与阈值无关，体现了综合考虑学习器在不同任务下的期望泛化性能的好坏），代价敏感错误率与代价曲线（度量不同错误类型造成不同的后果）。

 

 

偏差与方差分解法是解释学习算法期望泛化性能的一种重要工具。

噪声：是指在数据集中有的数据项与真实不符，可能是输入时的差错等。

推导过程参见西瓜书P45。

得到泛化误差可分解为偏差，方差和噪声之和。

偏差度量了学习器的期望预测与真实值的偏离程度，刻画了学习算法本身的拟合能力；方差描述了不同但同大小训练集训练导致的不同学习性能的变化，刻画了数据扰动所造成的影响；噪声表达了在当前任务下任何学习算法所能达到的期望泛化误差的下界，刻画了问题本身的难度。

往往偏差和方差是有冲突的，这称为偏差-方差窘境。当训练不足，此时拟合程度远远不够，而训练数据变化不足以引起性能变化，因为当前拟合度都很低，偏差主导了泛化错误率；随着训练程度的加强，拟合能力以非常强，以至于轻微的数据变化也可以影响性能，此时方差主导，如果学习过度，导致了学习器学习了特殊属性（与数据集一般属性相对），则发生过拟合。偏差，方差与泛化误差和训练程度的关系见P46页。

后续待更。