机器学习之一 模型评估及部分概念

一、模型的训练误差和测试误差

        对于训练出的模型

         

        模型的训练误差即是模型Y关于训练数据集的平均损失

        

        其中是损失函数，训练样本损失函数的平均值就是训练误差(经验风险)

        测试样本损失函数的平均损失就是测试误差

二、过拟合与模型选择

        一般来说，模型的参数侧面反映了模型的复杂度，参数越多的模型，其复杂度一般也越高，太过复杂的模型很容易引发过拟合的现象(复杂的模型会得到较小的训练误差，但太过青睐训练数据，导致其泛化能力差，即测试误差大)，但是过于简单的模型又会使得模型欠拟合，所以为了使得模型有较好的泛化能力，就面临模型的选择问题。

三、正则化

        经验风险最小化下的模型，在数据量较大时，一般能得到较好的模型，但是当数据量小时，就会放大每一个训练数据带来的影响，很容易发生“过拟合”的现象，使得模型的泛化能力差。

        结构风险最小化加上一个关于参数个数的正则化项，用于平衡参数个数，定义为

          

        选择合理的正则化函数，可使得最小化结构风险训练得到最优模型。

四、交叉验证

        交叉验证是一种通过划分数据集为训练集、验证集和测试集，来测试不同参数下的模型效果从而进行最优模型选择的方法，一般有以下几种

        1.简单交叉验证

         随机的将数据集分为两部分，一部分作为训练集，一部分作为测试集；然后用训练集在各种条件下(不同参数个数、不同参数值等)训练得到不同模型，再在测试集上评估计算每个模型的测试误差，从而选择最优模型。

        2.S折交叉验证

        S折交叉验证是应用最多的模型选择方法，随机的将数据切分成S个互不相交的相同大小的子集，取所有可能的S-1个子集的组合作为训练集，剩下的一个作为测试集；然后选出在S次测评的平均测试误差最小的模型作为最优模型。也被称为K折K次方法

        3.留一交叉验证

        S折交叉验证的特殊情形是S=N，称为留一交叉验证，该方法是在数据极度匮乏的情况下才使用

五、生成模型与判别模型的区别

        监督学习的任务就是学习一个模型，应用这一模型可以对给定的输入预测相应的输出，其模型形式一般是一个决策函数

          

或条件概率分布

            

        监督学习又分为判别模型和生成模型，对于生成模型，之所以称为生成模型是因为它首先必须是由数据集学习联合概率分布，然后才进一步得到预测的模型

         

而对于判别模型，则是直接通过决策函数或者条件概率分布得到预测结果。

六、模型评估

        模型评估最粗糙的方法是直接通过准确率和错误率来刻画，但是对于某些场景，比如艾滋病爆发时预测艾滋病，肯定是更倾向于宁隔离错也不放过的，所以更在意的是所有患艾滋病的人中，有多少是被预测出来的；比如1000个人有10个患艾滋病，有5个患艾滋病的被预测为患艾滋病，5个被预测为正常，990个正常的为全部预测为不患艾滋病，结果来看错误率仅0.5%，好像效果很好，但是换一个角度看，10个患艾滋病的才仅仅5个预测出患艾滋病，准确率才50%(这个数值就是下面的查全率)，由此可见该模型的效果是相当差的。

        对于二分类问题，最常用的一种指标是准确率(查准率)和召回率(查全率)，对于关注的类别标注为正类，其他的为负类，测试样本在分类器上的表现为以下四种统计情况。

        TP ------- 将正类预测为正类数

        FN ------- 将正类预测为负类数

        FP ------- 将负类预测为正类数

        TN ------- 将负类预测为负类数

        准确率定义为(所有预测为正类的样本中，的确是正类的比例)

                

        召回率定义为(所有正类样本中，被预测为正类的比例)

                

        还有一种评估准确率和召回率综合效果的，即