线性回归原理及使用

线性回归

定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。特点为一个或多个称为回归系数的模型参数的线性组合

一元线性回归

一元线性回归的模型是模型中的变量只有一个。一元线性回归方程的表达式为
$$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i$$
其中${\beta }_0$、$\beta 1$是变量的系数，${ϵ}_i$是随机误差服从正态分布$N(0,1)$
然后假设模型的预测值为$\hat{y}$，真实值为$y$，然后得到模型的损失函数为
$$loss=\sum _{i=1}^n(\hat{y}-y{)}^2$$
使用最小二乘法进行求解之后可以解出${\beta }_0$、$\beta 1$。
$${\beta }_0=\bar{y}-{\beta }_1\bar{x}$$
$${\beta }_1=\frac{{\sum }_{i=1}^n{x}_i\bar{y}-{\sum }_{i=1}^n{x}_i{y}_i}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$

多元线性回归

多元线性回归模型是模型中的变量有俩个或者多个。多元线性回归模型的表达式为
$$Y=X\beta +ϵ$$
其中$X$的维度为$m\times n$，$\beta$的维度为$m\times (n+1)$
然后假设模型的预测值为$\hat{Y}$，真实值为$Y$，且$\hat{Y}=X\beta$然后得到模型的损失函数为
$$loss=\frac{1}{2}(X\beta -Y{)}^T(X\beta -Y)$$
通过求导可以解出$\beta =(X^{T}X{)}^{-1}{X}^{T}Y$

使用梯度下降法也可以对数据进行求解
$${\beta }_i\leftarrow {\beta }_i-lr\ast \frac{\partial loss}{\partial {\beta }_i}$$
其中$lr$是指学习率，也是个超参数，需要进行指定，一般学习率都是比较小的。

模型评价

对于回归方程的结果，通常采用均方误差来衡量模型的优劣，均方误差记为$MSE$。
$$MSE=\frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

代码实现

本次使用的数据集为sklearn中的波士顿房价数据集

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

#导入数据集
boston = load_boston()
#切分数据集
x = boston.data
y = boston.target
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.3,random_state=123)

#对数据集进行标准化处理
std = StandardScaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)
std_y = StandardScaler()
y_train = std_y.fit_transform(y_train.reshape(-1,1))
y_test = std_y.transform(y_test.reshape(-1,1))

#使用回归模型的API进行拟合模型
LR = LinearRegression()
LR.fit(x_train,y_train)
print("查看回归模型的系数",LR.coef_)
y_pre = LR.predict(x_test)
#还原预测值
y_pre = std_y.inverse_transform(y_pre)
print("模型的误差为",mean_squared_error(y_pre,y_test)) #540.01



#使用梯度下降求解回归方程系数
from sklearn.linear_model import SGDRegressor

sgd = SGDRegressor()
sgd.fit(x_train,y_train)
print("查看回归模型的系数",sgd.coef_)
y_pre = sgd.predict(x_test)
#还原预测值
y_pre = std_y.inverse_transform(y_pre)
print("模型的误差为",mean_squared_error(y_pre,y_test)) #538.93

欠拟合和过拟合

在现实的生活中，回归模型所选取的变量往往存在线性相关的关系（多重共线性），那么模型的效果将会被严重的低估。在机器学习中，模型的效果不好有俩种，一种是过拟合，一种是欠拟合。

过拟合

过拟合是指模型在训练集上的准确率较高，而在测试集的准确率十分的低。这是说明了模型过度拟合原数据，导致模型发生了过度拟合的状况，使其泛化能力降低。

欠拟合

欠拟合是指模型对数据的拟合程度较低，无法从数据中提取出信息，导致模型在训练集和测试集的准确率都比较低。一般而言是因为模型学习的数据特征过少或是数据集的数量太少。

解决方法

对于欠拟合的模型而言，需要增加数据集的特征数量和数据的数量，使模型学习更多的信息。对于过拟合的模型而言，需要对数据集进行过滤，选择有用的特征、使用交叉验证，使数据都经过训练或者是使用正则化，降低模型的过拟合程度。

岭回归

岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

岭回归是在原有的模型上加入L2正则项，使模型的系数变小，模型变得简单，不容易发生过拟合的情况。

岭回归的表达式为
$$Y=X\beta +ϵ+\lambda X^{T}X$$
其中$\lambda$为超参数，一般通过搜索找到最优值，模型求解后得到$\beta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$，这样可以防止$X^{T}X$趋近于0，使得$\beta$趋近于无穷大，从而使模型发生过拟合的状况

优点：岭回归得出的参数波动比较小， 模型比较稳定；能处理数据中存在病态数据的情况

代码实现

from sklearn.linear_model import Ridge

rd = Ridge(alpha=1.0)#指定lambda值
rd.fit(x_train,y_train)
print("查看回归模型的系数",rd.coef_)
y_pre = sgd.predict(x_test)
#还原预测值
y_pre = std_y.inverse_transform(y_pre)
print("模型的误差为",mean_squared_error(y_pre,y_test)) #538.93