数据挖掘与机器学习 实验：回归算法

实验五：回归算法

一、实验名称

实验：回归算法

二、实验目的

1.了解回归算法理论基础

2.平台实现算法

3.编程实现回归算法

三、实验原理

回归算法是监督型算法的一种，通过利用测试集数据来建立模型，再利用这个模型训练集中的数据进行处理的算法。线性回归旨在寻找到一根线，这个线到到达所有样本点的距离的和是最小的。常用在预测和分类领域。线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的-种统计分析方法，运用十分广泛。

四、实验步骤

1、使用线性回归算法进行房价预测。加载波士顿房价数据集，并且将数据集分割为训练集和测试集，创建线性回归模型并进行训练和预测，通过计算均方误差来进行模型的测评。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
# 加载数据
data, target= load_boston(return_X_y=True)
# 划分数据集
X_train,X_test,y_train,y_test = train_test_split(data,target,random_state=1)
# 创建线性回归模型并进行训练
linear_model = LinearRegression()
linear_model.fit(X_train,y_train)
# 使用模型进行预测并计算mse
y_predict = linear_model.predict(X_test)
linear_mse = np.average((y_predict - np.array(y_test)) ** 2)
linear_mse

2、使用多项式回归算法进行房价预测。创建多项式回归模型并进行训练和预测，多项式回归模型的创建，我们可以使用PolynomialFeatures方法将原始数据转换为其多项式特征值后，再使用线性回归训练构成多项式回归模型。进行模型的训练和预测后，通过计算均方误差来进行模型的测评。

# 创建多项式回归模型并进行训练
model = PolynomialFeatures(degree=2)
X_transformed = model.fit_transform(X_train)
poly_linear_model = LinearRegression()
poly_linear_model.fit(X_transformed, y_train)
# 使用模型进行预测并计算mse
X_test1 = model.fit_transform(X_test)
y_hat = poly_linear_model.predict(X_test1)
poly_mse = np.average((y_hat - np.array(y_test)) ** 2)
poly_mse

3、使用Ridge回归算法进行房价预测。线性回归的主要问题是对异常值敏感在真实世界的数据收集过程中，经常会遇到错误的度量结果，而线性回归使用的普通最小二乘法，其目标是使平方误差最小化，这时，由于异常值误差的绝对值很大，会引起问题，破坏模型。Ridge 回归是一种线性回归模型，它在普通最小二乘法的基础上引入了正则化项，以防止过拟合。正则化项通过惩罚系数 alpha 控制，alpha 越大，正则化项对模型的影响就越大。加载数据集，并将数据集分割为训练集和测试集，创建Ridge回归模型，寻找Ridge最优参数alpha，创建参数优化器GridSearchCV，将参数model，param_grid传入，GridSearchCV是为了寻找出model的alpha最优参数，进行模型的训练，使用最优参数的Ridge模型进行预测，计算其均方误差MSE，对均方误差取平方根，得到均方根误差RMSE，均方根误差是均方误差的平方根，它衡量了模型预测值与实际值之间的差异程度，是一种常用的回归模型性能评价指标。显示图像，并从图像中观察预测值是否准确。

# 引包
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_boston
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge
# 加载数据
data, target= load_boston(return_X_y=True)
# 划分数据集
X_train,X_test,y_train,y_test = train_test_split(data,target,random_state=1)
# 创建Ridge回归模型
model = Ridge()
# 用logspace 函数来创建一个 alpha 候选列表，alpha 值是从 0.001 到 10 之间均匀分布的对数值
alpha_can = np.logspace(-3,1,10)
# 创建参数优化器GridSearchCV，将参数model，param_grid传入
ridge_model = GridSearchCV(model, param_grid={'alpha': alpha_can})
# 模型的训练
ridge_model.fit(data,target)
print('证参数:\n',ridge_model.best_params_)
# 使用最优参数的Ridge模型进行预测
y_hat = ridge_model.predict(X_test)
# 均方误差（MSE）
mse = np.average((y_hat - np.array(y_test)) ** 2)
# 对均方误差取平方根，得到均方根误差（RMSE）
rmse = np.sqrt(mse)
print(mse, rmse)
#从图像中观察预测值是否准确
t = np.arange(len(X_test))
plt.plot(t,y_test,'r-', linewidth=2, label='Test')
plt.plot(t, y_hat, 'g-', linewidth=2, label='Predict')
# 显示图例
plt.legend(loc='upper right')
# 添加网格线
plt.grid()
# 显示图形
plt.show()

五、实验总结

通过本次的两个实验，分别使用线性和多项式回归以及Ridge 回归模型对波士顿房价数据集进行预测，对各个模型的使用有一定的了解。