【机器学习笔记】多元线性回归

简介

多元线性回归，将多个自变量x，拟合因变量y，形成表达式：y = x β + μ，能够对新的自变量进行回归预测；

前提假设

1. 因变量y与参数β的表达式呈线性性；
2. 样本随机性；
3. 自变量x不存在线性共线性；
4. 残差项独立同分布于均值为0，方差固定的高斯分布；
5. 残差与自变量独立；

参数求解

损失函数：误差平方和SSE，(Xb - y)'(Xb - y)；
X’X满秩时，利用最小二乘法，对X求偏导等于0，可整理求得β的表达式：

X’X不满秩时，可以利用梯度下降法求解β的近似解，也可用岭回归方式：

进而得到μ的表达式：μ = y - x β

拓展

1. 岭回归：将损失函数引入系数β的L2范数惩罚项（最小二乘法求解参数）；
2. Lasso：将损失函数引入系数β的L1范数惩罚项（坐标下降法求解参数）；
3. 优缺点：引入惩罚项减少过拟合、且避免了自变量多重共线性问题导致的模型失真；但容易引起欠拟合，且对参数的估计为有偏估计，降低了可解释性；

sklearn实战

重要参数

class sklearn.linear_model.Ridge(
	alpha=1.0,
	fit_intercept=True, 
	normalize=False,
	copyX=True, 
	maxiter=None