2021-03-22

集成学习打卡第三天-基础模型优化

一、模型的方差与偏差

首先是在训练集上进行模型的训练，然后再将模型运用到测试集中去，在测试集上的预测能力称为模型的泛化能力，当然，预测出来的值与实际的值肯定是有误差的，这一误差称为模型的泛化误差，模型的泛化误差通常包含以下三个部分：偏差(bias)、方差(variance)和噪声(noise)，其中偏差指的是模型预测值偏离真实值的程度；方差代表的是值模型预测值的离散程度。

具体来说偏差是指：为了选择一个简单的模型去估计真实函数所带入的误差。假如真实的数据X与Y的关系是二次关系，但是我们选择了线性模型进行建模，那由于模型的复杂度引起的这种误差我们称为偏差，它的构成时复杂的。偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。偏差度量的是单个模型的学习能力，而方差度量的是同一个模型在不同数据集上的稳定性。“偏差-方差分解”说明：泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

一般而言我们会选择一个评价指标来评估模型的好坏，在回归中，常用的评价指标为均方误差，通常来说我们想要在训练集和测试集上误差都很小的模型，但是事情有的时候并不是想象的那么完美，为了追求模型的精度，我们会在训练集中不断训练模型，得到一个误差很小的模型，但是这个在训练集中误差很小的模型在测试集中的误差可能会很大，这就是所谓的“过拟合”现象，如果在训集中的误差很大就又出现了“欠拟合”，在实际的应用中，我们要把握好这个度。

二、特征提取

在实际的应用中，我们只能看到训练误差，而不能提前知道测试误差，因此我们要对测试误差进行估计，估计的方式有两种：训练误差修正与交叉验证。

测试误差能够被合理的估计出来以后，我们做特征选择的目标就是：从p个特征中选择m个特征，使得对应的模型的测试误差的估计最小。对应的方法有：最优子集选择、向前逐步选择。

除了直接对特征自身进行选择以外，我们还可以对回归的系数进行约束或者加罚的技巧对p个特征的模型进行拟合，常见的有岭回归与LASSO回归。

三、降维

前面提到的方差控制有两种主要的思想：一种是使用原始变量的子集，另一种是将变量系数压缩至零。但是这些方法都是基于原始特征得到的，现在我们探讨一类新的方法：将原始的特征空间投影到一个低维的空间实现变量的数量变少，如：将二维的平面投影至一维空间。机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。比较常用的降维算法有主成分分析法，简称PCA。