2021-03-18

集成学习打卡-taks2

常见的回归模型

常见的回归模型有线性回归模型、回归树、SVR等多种模型。他们的核心均是使得预测值更加的去接近真实值，通过调参数使得模型的误差值更小。

线性回归模型-最小二乘估计

线性回归模型是一种最简单的模型其假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w。本次学习中采用的是最小二乘估计。

几何解释：
将样本预测的误差分散在整个数据集上。另外一种几何解释就是真实条件下Y向量不在X数据形成的p维空间内，为了使得预测值尽量靠近真实值，那么就需要在X空间内找到一个向量使得Y与该向量的距离最近。（Y的投影）（Y-Xb）与XT**点乘

概率解释：

这里得出的结论是噪声服从一个高斯分布。
缺点：
这样的假设使得模型很简单，但是缺点也是显然的，那就是当数据存在非线性关系时，我们使用线性回归模型进行预测会导致预测性能极其低下，因为模型的形式本身是线性的，无法表达数据中的非线性关系。

SVR

一般凸优化：

将一般约束原问题问题转变成拉格朗日函数时，拉格朗日函数已经包括原问题的约束条件。
弱对偶定理：对偶问题的最优解小于原问题最优解 ，可以通过拉格朗日函数的对偶进行理解。这句话的通俗解释可以用鸡头和凤尾解释。对偶问题的最大值相当于是鸡头，鸡头再怎么大还是属于鸡。原问题相当于求最小值为凤尾，凤尾再怎么小还是凤。感性的认识当然也有理论基础的具体的详见教程。
几何解释：

原问题的最优解为图中阴影部分在纵轴上投影的下界，也即p点。对偶的问题最优解为一条直线
与纵轴截距的下限。该条直线的斜率不断变化当直线与区域有两个交点，斜率最大。
KKT条件：
凸优化加上slater可以推出强对偶，强对偶可以得出KKT。利用KKT可以得出最优解。