模型评估与选择

模型评估与选择

写到这里，里面相关内容更多体现在概率论统计学身上，读者们如果有什么地方的话，博客暂时无法详细说明其数学的内部讲解而仅仅提供方法和原理。麻烦之处敬请谅解。另外，文章里面出现的问题，望各位大佬不吝赐教。

1.模型的选择

误差

• 误差：误差是模型的预测输出值与真实值之间的差异。
• 训练：通过已知的样本数据进行想学习，从而得到模型的过程
• 训练误差：模型作用于训练集所形成的误差
• 泛化：由具体、个别扩大到一般，就成为泛化。对于机器学习的模型而言，泛化就是模型作用于新的样本数据
• 泛化误差：模型作用于新的样本数据时的误差。

欠拟合和过拟合

• 模型容量：拟合模型的能力
• 过拟合：指的是一个模型在一个训练集上表现很好，但是在新样本上表现差。形象上来讲，就是一个学生做一张试卷写的非常好；但是把试卷的数据改一下就不会了。
• 欠拟合：即模型在训练集的一般性质学习较差，模型作用于训练集时表现的不好。

模型选择

模型选择：针对某一个具体的任务，通常会有多种模型可以提供选择，对同一个模型也会有多种参数，可以通过分析、评估模型的泛化误差，选择泛化误差最小的模型

2.模型的评估方法

评估思路：对于实验测验，对模型的泛化误差进行评估，选出泛化误差最小的模型。

待测数据集全集未知，使用测试集进行泛化测试，测试误差即为泛化误差的近似。

注意：

• 测试集和训练集尽可能的互斥
• 测试集和训练集独立同分布

留出法：留出法将已知数据集分成两个互斥的部分，其中一部分用来训练，另一部分用来测试模型，评估其误差，作为泛化误差的估计。

• 数据集的划分尽可能保持数据分布一致性，避免因为数据划分过程引入人为的偏差。
• 划分时会具有随机性，会导致留出法结果具有偶然性
• 数据集划分成两部分，每部分的规模设置会影响评估结果

交叉验证法：将数据集分成k个大小相似的互斥的数据子集，子集数据尽可能保证数据分布一致。每次从中选出一个数据集作为测试集，其余作为测试集，即可以进行k次训练和测试进行评估。

留一法：是k折交叉验证的特殊形式，将数据集分成两个，其中一个数据集记录条数为1作为测试集使用，其余作为训练集。其缺点在于党数据集较大时，训练集次数和计算规模较大。

自助法：一种产生样本的抽样方法，其实质是有放回的随机抽样。它将从已知数据集中随机抽取一条记录，然后将该记录放入测试机的同时同样放回原数据集，继续下一次抽样，直到测试集中的数据条数满足要求。被测试的结果被称为包外估计。

几种方法的使用场景：

3.模型的性能度量

模型泛化能力的标准，对于不同模型有不同的评价准准则，不同的评价标准将导致不同的评价结果。

回归模型的性能度量通常选择均方误差，也就是求误差平方的平均值。

分类算法的性能度量一般有如下考量。

聚类算法的性能度量

4.比较检验

选择合适的评估方法和相应的性能度量，计算出性能度量后直接比较。它存在以下问题：

• 模型评估得到的是测试集上的性能，并不是严格意义上的泛化性能。
• 测试集上的性能与样本选取关系很大。不同的划分测试的结果会不同，会比较缺乏稳定性。
• 很多模型本身具有随机性，即使参数和数据集相同，其运行结果也存在差异。

假设检验

统计假设检验：实现对总体的参数或者分布做一个假设。根据已有的样本数据去判断这个假设是否合理。即样本和总体假设这之间的不同是否纯属机会变异，还是两者确实不同。在概率论中有如下的假设检验方法：t-检验法、卡方检验、F-检验法。

基本思想：

• 从样本中推断整体
• 通过反证法
• 小概率事件在一次实验基本不会发生
• 不轻易拒绝原假设
• 全称证明只能被否定
• 通过显著性水平定义小概率事件不可能被发生的概率

假设检验的步骤：

1. 建立假设。假设的形式有：双尾检验、左侧/右侧单尾检验
2. 确定检验水准。检验水准又称为显著性水平，是指原假设正确，但最终被拒绝的概率。
3. 构造统计量：根据资料类型、研究设计方案和统计推断的目的，选择适当检验方法。
4. 计算p值。p值就是用来判断假设检验结果的参数。
5. 得到结论。如果p值小于显著性水平，说明小概率事件发生，拒绝原假设；否则反之。

假设检验的例子：二项式检验

T检验

一元线性假设检验

5.偏差、方差与噪声

偏差：描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，即在样本上拟合的好不好。

方差：模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。

噪声：真实标记与数据集中的实际标记间的偏差，通常由多种因素综合影响造成，不可去除。

偏差度量的是是学习算法的期望预测与真实结果的偏离程度，刻画的所示学习算法本身的拟合能力。

方差度量的是同样大小数据集的变动所导致的学习的变化，刻画的是数据变化后所造成的影响。

噪声表达的是对当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

如上图的偏差与方差的区别。低偏差与高偏差的区别在于里靶心的距离，体现的是欠拟合；低方差与高方差体现的是整体的分布状况，体现的是过拟合。

谢谢大家的收看~