2021-03-18

DataWhale 集成学习（上）Task2

选择度量模型性能的指标:

MSE均方误差
MAE平均绝对误差
决定系数
解释方差得分

线性回归模型
回归这个概念是19世纪80年代由英国统计学家郎西斯.高尔顿在研究父子身高关系提出来的，他发 现:在同一族群中，子代的平均身高介于父代的身高以及族群的平均身高之间。具体而言，高个 子父亲的儿子的身高有低于其父亲身高的趋势，而矮个子父亲的儿子身高则有高于父亲的身高的 趋势。也就是说，子代的身高有向族群平均身高"平均"的趋势，这就是统计学上"回归"的最初含 义。回归分析是一种预测性的建模技术，它研究的是因变量(目标)和自变量(特征)之间的关 系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线 来拟合数据点，目标是使曲线到数据点的距离差异最小。而线性回归就是回归问题中的一种，线 性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解 损失函数最小时的参数w :
假设:数据集 ， ， 假设X和Y之间存在线性关系，模型的具体形式为
𝑥𝑇𝑤 = )𝑤(𝑓 = ̂𝑦
𝑇)𝑁𝑦,…,2𝑦,1𝑦( = 𝑌,𝑇)𝑁𝑥,…,2𝑥,1𝑥( = 𝑋

线性回归还可以推广到多项式回归、广义可加模型(GAM)

回归树:
基于树的回归方法主要是依据分层和分割的方式将特征空间划分为一系列简单的区域。对某个给 定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。由于划分特征空 间的分裂规则可以用树的形式进行概括，因此这类方法称为决策树方法。决策树由结点(node)和 有向边(diredcted edge)组成。结点有两种类型:内部结点(internal node)和叶结点(leaf node)。内 部结点表示一个特征或属性，叶结点表示一个类别或者某个值。区域 等称为叶节点，将特 征空间分开的点为内部节点。

支持向量回归SVR
在介绍完了相关的优化知识以后，我们开始正式学习支持向量回归SVR。
在线性回归的理论中，每个样本点都要计算平方损失，但是SVR却是不一样的。SVR认为:落在 的 邻域空间中的样本点不需要计算损失，这些都是预测正确的，其余的落在 邻域空间以外
的样本才需要计算损失。

总结：

这次task我们学习了基本的训练模型，例如线性回归及其相关模型， 回归树模型，支持向量机模型等。在研究支持向量机模型时也涉及到对偶问题和拉格朗日函数。