利用线性回归器LinearRegression/SGDRegressor进行回归预测(复习7)

本文是个人学习笔记，内容主要涉及“基于解析方法估计参数的LinearRegression”和“基于随机梯度下降法估计参数的SGDRegressor”对boston数据集进行线性回归拟合和预测。

当根据数据建模和预测时，如果待预测的目标是连续变量，即为回归问题。回归问题学习时，优化的目标是最小化预测结果与真实值之间的差异，通过优化算法学习到模型参数。预测时，不能苛求回归预测的数值结果要严格地与真实值相同，需要衡量预测值与真实值之间的差距，可以通过MSE、MAE、R-squared等多种评价函数进行评价。

MAE：$y_{i}$是第$i$个样本的真实值，$\hat{y}_{i}$是第$i$个样本的预测值

$$MAE(y,\hat{y})=\frac{1}{N}\sum_{i=1}^{N}|y_{i}-\hat{y}_{i}|$$

MSE：$y_{i}$是第$i$个样本的真实值，$\hat{y}_{i}$是第$i$个样本的预测值

$$MSE(y,\hat{y})=\frac{1}{N}\sum_{i=1}^{N}(y_{i}-\hat{y}_{i})^2$$

R-squared：$y_{i}$是第$i$个样本的真实值，$\hat{y}_{i}$是第$i$个样本的预测值，$\bar{y}$是所以样本真实值的均值

$$R^2(y-\hat{y})=1-\frac{\sum\limits_{i=1}^{N}(y_{i}-\hat{y}_{i})^2}{\sum\limits_{i=1}^{N}(y_{i}-\bar{y})^2}$$

from sklearn.datasets import load_boston
boston=load_boston()
print(boston.DESCR)   #查看数据描述

import numpy as np
X=boston.data
y=boston.target

print(X.shape,y.shape)
#Output:(506, 13) (506,)

from distutils.version import LooseVersion as Version  
from sklearn import __version__ as sklearn_version  
if Version(sklearn_version) < '0.18':  
    from sklearn.cross_validation import train_test_split  
else:  
    from sklearn.model_selection import train_test_split  
X_train,X_test,y_train,y_test = train_test_split(X, y, test_size=0.25, random_state=33)

#分析回归目标取值的一些特性看看房价波动范围,差异过大需要标准化处理
print("The max target value is",np.max(boston.target))
print("The min target value is",np.min(boston.target))
print("The average target value is",np.mean(boston.target))

from sklearn.preprocessing import StandardScaler
ss_X=StandardScaler()   
ss_y=StandardScaler()

X_train=ss_X.fit_transform(X_train)
X_test=ss_X.transform(X_test)
y_train=ss_y.fit_transform(y_train.reshape(-1, 1))   #将标签列行向量1维变成列向量2维
y_test=ss_y.transform(y_test.reshape(-1, 1))

from sklearn.linear_model import LinearRegression
lr=LinearRegression()
lr.fit(X_train,y_train)
lr_y_predict=lr.predict(X_test)

from sklearn.linear_model import SGDRegressor
sgdr=SGDRegressor()
sgdr.fit(X_train,y_train)
sgdr_y_predict=sgdr.predict(X_test)

from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error
print("The value of default measurement of LinearRegression is",lr.score(X_test,y_test))
print("The value of R_suqared of LinearRegression is",r2_score(y_test,lr_y_predict))
print("The mean squared error of LinearRegression is",
      mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)))   
#inverse_transform是还原实结果
print("The mean absolute error of LinearRegression is",
      mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)))

print("The value of default measurement of SGDRegressor is",sgdr.score(X_test,y_test))
print("The value of R_suqared of SGDRegression is",r2_score(y_test,sgdr_y_predict))
print("The mean squared error of SGDRegression is",
      mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)))
print("The mean absolute error of SGDRegression is",
      mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)))

如果任务的训练数据规模十分庞大，随机梯度下降法无论在分类问题还是回归问题上都表现得很高效，在不损失过多性能的前提下，极大地节省计算时间。sklearn官网建议，训练数据规模超过10万，推荐使用随机梯度法估计参数模型。

在不清楚特征键关系的前提下，可以使用线性回归模型作为基线系统。