机器学习之线性回归的简单使用

1.下方例子是sklearn中的官方案例，其中仅使用到了10个特征元素中一个特征元素（可理解为x_1），故而其线性回归方程倒也简单，为：

 其具体推导这里就不做展开，其常规的套路如下：首先于回归方程中加上误差项，而误差项满足高斯分布，故而将回归方程带入高斯分布的公式中，之后求解似然函数，通过似然函数得到目标函数，然后求解目标函数极值，求解极值利用求偏导即可，得到求导后方程后令方程 = 0，然后解出 值即可。

2.关于线性回归方程的相关信息，具体可以去参考相关的机器学习的书籍，其中会有更为详实的介绍。

3.接下来以sklearn中这个小例子来了解如何使用该线性回归，这里仅使用了一个特征元素x，当然也可以使用多个特征进行训练，不过为了便于后面画图，故而这里仅使用了一个特征元素

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score


diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True)


# 这里只用到了一个特征值，可以理解该方程为 ： y = theta*x_1
# diabetes_X = diabetes_X[:, np.newaxis, 2]
# diabetes_X = diabetes_X[:,2:3]
diabetes_X = diabetes_X[:,2:6]



diabetes_X = diabetes_X[:,0:1]


diabetes_X_train = diabetes_X[:-20]


diabetes_X_test = diabetes_X[-20:]



diabetes_y_train = diabetes_y[:-20]
diabetes_y_test = diabetes_y[-20:]

# 实例化线性回归的函数
regr = linear_model.LinearRegression()

# 传入训练的数据，求解各个theta值都会在这里完成
regr.fit(diabetes_X_train, diabetes_y_train)

# 传入测试数据，然后得到预测的y值，即通过上面的操作已经得到了一个成熟的方程 y = theta * x_1
# 现在的theta值已经通过训练得到了一个确定的值，故而可以使用预测函数来进行预测y值了
diabetes_y_pred = regr.predict(diabetes_X_test)


# 构建一个散点图，x轴为diabetes_X_test，y轴为diabetes_y_test
plt.scatter(diabetes_X_test, diabetes_y_test, color="black")

# 预测的值y与传入的x值形成的坐标，进而连成了一条线
plt.plot(diabetes_X_test, diabetes_y_pred, color="blue", linewidth=3)

plt.show()