1.线性回归基本形式
1)单变量线性回归扩展至多维
单变量:y = kx+b
多变量可以表示为两种形式
a.将偏置项参数放在参数矩阵中
b.将偏置项作为单独的参数处理
其中:
与
均为矩阵形式;
2)如何求解多维线性回归的参数
根据形式2,推导参数的表达式:
其中
独立同分布,服从均值为0,方差为某定值
的高斯分布(中心极限定理)
根据其联合分布且独立的条件,求其似然函数
处理后求出线性回归的目标函数:
根据矩阵的性质:
对目标函数处理
求得参数为:
2.最小二乘法
类似于梯度下降,都是一种求解无约束最优化问题的常用方法,并且也可以用于曲线拟合,来解决回归问题。最小二乘法实质就是最小化“均方误差”,而均方误差就是残差平方和的1/m(m为样本数),同时均方误差也是回归任务中最常用的性能度量。
求解一元线性回归参数:
对参数求导
利用克莱姆法则求解:
总之,线性回归中利用极大似然估计的方式给最小二乘提供了合理的解释;
2.局部加权线性回归
出发点:简单的形式下的模型产生欠拟合现象
解决方案:通过修改权重(即附近点的权重较高)方式
应用公式:在参数中加入样本对应的权重
高斯核对应的样本权重:
即构造一个只含对角线元素的权重矩阵,且离x越近,权重越大;
其中,k为高斯核参数,控制衰减的速度;
3.线性回归的局限性
存在的问题:
1)当特征比样本值还多的时候,如何求解参数?(数学上表现为一个方程求解一个未知数)
2)引起的问题:在矩阵求解中,矩阵不可逆现象
解决方案:可以考虑适当的减少特征值的个数
①岭回归;②lasso;③前向逐步回归;
4.岭回归
1)什么是”岭”?
岭回归使用了单位矩阵乘以常量,单位矩阵对角线为1,其余元素为0,将在0构成的平面上出现的1构成的形状称为”岭”;
2)岭回归在矩阵上加上一个
从而使得矩阵为非奇异矩阵;
权重表达式为:
说明:可以作为惩罚因子,对权重的和加以影响,从而减少一些不重要参数的影响;
5.前向逐步回归
1)出发点:基于贪心的思想,每次通过’试探’的方式,发现比现在更好的系数矩阵,从而一步步减少误差;
2)伪代码
6.lasso
岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项,Lasso回归引入的是L1范数惩罚项,Lasso回归能够使得损失函数中的许多θ均变成0,这点要优于岭回归,因为岭回归是要所有的θ均存在的,这样计算量Lasso回归将远远小于岭回归。
在求解lasso回归时,无法使用传统的方法 (如梯度下降、牛顿法等),考虑使用别的求解方式:
1)LAR(最小角回归)
前向逐步回归:每次根据选择的变量子集,完全拟合出线性模型,计算出误差,对较高的模型复杂度做出惩罚;
LAR选择相关系数(自变量和因变量)作为衡量标准,使用最小二乘估计 (确保估计值和观察值之间的误差平方和最小)的方法逐渐减少其系数,从而达到求解的过程
(从某种意义上来说,在梯度下降中将计算的误差平方和直接对整个系数矩阵求导,等价于将误差产生的”后果”分给每个变量去”承担”,而在最小角回归中,它将产生的误差平方和分配给单个变量,通过调节它的属性来降低误差;)
实现步骤:
2)坐标轴下降法
数学依据:一个可微的凸函数,其中
为n*1(n维)的向量,如果在某一点
,使得
在每一个坐标轴上都为最小值,那么
全局最小;
举例:
当只有2维时,此时图中和Y最近的为X1,那么就沿着X1走一段距离,当其与终点的连线刚好在X1和X2的对角线上时停止,之后沿着对角线走,直到残差足够小时停止,此时其系数就是最终需要求解的系数;
优点:
1)适合于特征维度n 远高于样本数m的情况;(此时使用传统的求解时面临系数矩阵不可逆的现象);
2)算法的最坏计算复杂度和最小二乘法类似,但是其计算速度几乎和前向选择算法一样;
3)可以产生分段线性结果的完整路径,这在模型的交叉验证中极为有用
线性回归
最新推荐文章于 2024-06-14 20:39:55 发布