线性回归
因为预测结果与真实值是有一定的误差,如下:
如何去求模型当中的W,使得损失值最小?方法有以下两个:
最小二乘法之正规方程:
最小二乘法之梯度下降:
使用案例
from sklearn import datasets #导入sklearn中数据集
from sklearn.model_selection import train_test_split #对数据进行切分
from sklearn.preprocessing import StandardScaler, scale #标准化和归一化处理
from sklearn.linear_model import LinearRegression, SGDRegressor #正规方程和梯度下降
from sklearn.metrics import mean_squared_error #均方误差
import matplotlib.pyplot as plt #导入画图库
def linear():
#加载数据
boston = datasets.load_boston() #加载波士顿房价数据
# print(boston.data) #特征数据
# print(boston.target) #目标数据
#切分数据
x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2) #训练集和测试集切分比例为8:2
# print(x_train, x_test, y_train, y_test)
#标准化处理(数据都聚集在0附近,方差值为1);归一化处理(数据均值为0, 方差为1)
std = StandardScaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)
# 根据已经处理好的标准数据 预测得到预测结果 和实际结果对比 然后调整w 权重值 和 b 偏置值
print("#############################################################################")
# 正规方程的方式 获取最小误差
lr = LinearRegression()
# 输入数据 通过一次计算就能够获取最小的误差, 得到对应的模型
lr.fit(x_train, y_train)
#获取预测的房价
y_pre1 = lr.predict(x_test)
# 计算均方误差
ret1 = mean_squared_error(y_test, y_pre1)
print("正规方程预测的房价为: ", y_pre1)
print("正规方程得到的均方误差为: ", ret1)
print("正规方程的回归系数: ", lr.coef_)
#将实际房价数据与预测数据作出对比,接近中间绿色直线的数据表示预测准确
plt.scatter(y_pre1, y_test, color='y', marker='o') #预测值
plt.scatter(y_test, y_test, color='g', marker='+') #真实值
plt.show()
# plt.savefig("正规方程.jpg")
print("#############################################################################")
# 梯度下降的方式 获取最小误差
sgd = SGDRegressor()
sgd.fit(x_train, y_train)
y_pre2 = sgd.predict(x_test)
# 获取损失的均方误差大小
ret2 = mean_squared_error(y_test, y_pre2)
print("梯度下降的预测的房价为: ", y_pre2)
print("梯度下降的均方误差为: ", ret2)
print("梯度下降的回归系数: ", sgd.coef_)
plt.scatter(y_pre2, y_test, color='y', marker='o') # 预测值
plt.scatter(y_test, y_test, color='g', marker='+') # 真实值
plt.show()
# plt.savefig("梯度下降.jpg")
if __name__ == '__main__':
linear()