课堂实验-【回归算法】

【实验名称】 实验：回归算法
【实验目的】
1.了解回归算法理论基础
2.平台实现算法
3. 编程实现分类算法
【实验原理】
线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
【实验环境】
OS：Ubuntu16.04
PyCharm： 2017.3
【实验步骤】
实验开始前，我们先安装一下本次实验所需依赖包

pip install matplotlib
pip install sklearn

本实验中我们将对波士顿房价的数据集进行回归算法训练：在机器学习章节中我们已经创建过最简单的回归模型，我们在此回顾一下：
LinearRegression 会调用 fit 方法来拟合数组 X， y，并且将线性模型的系数存储在其成员变量 coef_ 中：
from sklearn import linear_model
reg = linear_model.LinearRegression()
print(reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]))
print(reg.coef_)
print(reg.predict([[1, 2]]))

题目一：使用线性和多项式回归算法进行房价预测

STEP1：加载波士顿房价数据集，并且将数据集分割为训练集和测试集。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import datasets
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
if __name__ == "__main__":
    
    ###STEP1###
    #加载数据并进行分割
    data = datasets.load_boston()
    x = data.data
    y = data.target
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1)

STEP2：创建线性回归模型和多项式回归模型并进行训练，创建多项式回归模型并进行训练，在这里我们已经对线性回归模型比较熟悉了，但是多项式回归模型如何创建？在此我们可以将原始数据转换其多项式特征值后再使用线性回归训练构成多项式回归模型。提示：使用PolynomialFeatures方法将数据进行转换

 ###STEP2###
    #创建线性回归模型并进行训练
    linear_model = LinearRegression()
    linear_model.fit(x_train,y_train)
    #创建多项式回归模型并进行训练
    model  = PolynomialFeatures(degree=2)      
    x_transformed=model.fit_transform(x_train)
    poly_linear_model = LinearRegression()#创建回归器
    poly_linear_model.fit(x_transformed, y_train)
    

STEP3：使用模型进行预测并计算其mse。

###STEP3###
    #使用模型进行预测并计算mse
    y_predict=linear_model.predict(x_test)
    x_test1=model.fit_transform(x_test)
    y_hat = poly_linear_model.predict(x_test1)
    linear_mse = np.average((y_predict - np.array(y_test)) ** 2)
    poly_mse = np.average((y_hat - np.array(y_test)) ** 2)  # Mean Squared Error
    print (linear_mse,poly_mse)

题目二：使用Ridge回归算法进行房价预测
线性回归的主要问题是对异常值敏感，在真实世界的数据收集过程中，经常会遇到错误的度量结果，而线性回归使用的普通最小二乘法，其目标是使平方误差最小化，这时，由于异常值误差的绝对值很大，会引起问题，破坏模型。
Ridge 回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题，请自行了解Ridge 回归算法，以及与线性算法的区别。
STEP1：加载数据集，并且将数据集分割为训练集和测试集。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
from sklearn import datasets

if __name__ == "__main__":
    
    ###STEP1###
    #加载数据并进行分割
    data = datasets.load_boston()
    x = data.data
    y = data.target
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1)

STEP2：创建Ridge回归模型，请了解sklearn中Ridge模型的alpha参数，参考：http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.linear_model.Ridge.html#sklearn.linear_model.Ridge。

 ###STEP2###
    #创建Lasso回归模型
    model = Ridge()
    alpha_can = np.logspace(-3, 1, 10)

STEP3：寻找Ridge最优参数alpha，创建参数优化器GridSearchCV，将参数model，param_grid传入，GridSearchCV是为了寻找出model的alpha最优参数，请了解sklearn中GridSearchCV的model，param_grid参数，参考：http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV。

###STEP3###
    #创建参数优化器GridSearchCV，将参数model，param_grid传入
    ridge_model = GridSearchCV(model, param_grid={'alpha': alpha_can})
    ridge_model.fit(x, y)
    print('证参数：\n', ridge_model.best_params_)

STEP4：使用最优参数的Ridge模型进行预测，计算其MSE，并从图像中观察预测值是否准确。

 ###STEP4###
    #使用最优参数的Lasso模型进行预测
    y_hat = ridge_model.predict(x_test)
    mse = np.average((y_hat - np.array(y_test)) ** 2)  # Mean Squared Error
    rmse = np.sqrt(mse)  # Root Mean Squared Error
    print (mse, rmse)
    #从图像中观察预测值是否准确
    t = np.arange(len(x_test))
    plt.plot(t, y_test, 'r-', linewidth=2, label='Test')
    plt.plot(t, y_hat, 'g-', linewidth=2, label='Predict')
    plt.legend(loc='upper right')
    plt.grid()
    plt.show()