机器学习之线性回归

线性回归

因为预测结果与真实值是有一定的误差，如下：

如何去求模型当中的W，使得损失值最小？方法有以下两个：
最小二乘法之正规方程：

最小二乘法之梯度下降：

使用案例

from sklearn import datasets  #导入sklearn中数据集
from sklearn.model_selection import train_test_split  #对数据进行切分
from sklearn.preprocessing import StandardScaler, scale  #标准化和归一化处理
from sklearn.linear_model import LinearRegression, SGDRegressor  #正规方程和梯度下降
from sklearn.metrics import mean_squared_error  #均方误差
import matplotlib.pyplot as plt  #导入画图库


def linear():
    #加载数据
    boston = datasets.load_boston()  #加载波士顿房价数据
    # print(boston.data)  #特征数据
    # print(boston.target)  #目标数据
    #切分数据
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2)  #训练集和测试集切分比例为8：2
    # print(x_train, x_test, y_train, y_test)
    #标准化处理(数据都聚集在0附近，方差值为1);归一化处理（数据均值为0, 方差为1）
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)
    # 根据已经处理好的标准数据 预测得到预测结果 和实际结果对比 然后调整w 权重值 和 b 偏置值
    print("#############################################################################")
    # 正规方程的方式 获取最小误差
    lr = LinearRegression()
    # 输入数据 通过一次计算就能够获取最小的误差, 得到对应的模型
    lr.fit(x_train, y_train)
    #获取预测的房价
    y_pre1 = lr.predict(x_test)
    # 计算均方误差
    ret1 = mean_squared_error(y_test, y_pre1)
    print("正规方程预测的房价为: ", y_pre1)
    print("正规方程得到的均方误差为: ", ret1)
    print("正规方程的回归系数: ", lr.coef_)
    #将实际房价数据与预测数据作出对比，接近中间绿色直线的数据表示预测准确
    plt.scatter(y_pre1, y_test, color='y', marker='o')  #预测值
    plt.scatter(y_test, y_test, color='g', marker='+')  #真实值
    plt.show()
    # plt.savefig("正规方程.jpg")
    print("#############################################################################")
    # 梯度下降的方式 获取最小误差
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    y_pre2 = sgd.predict(x_test)
    # 获取损失的均方误差大小
    ret2 = mean_squared_error(y_test, y_pre2)
    print("梯度下降的预测的房价为: ", y_pre2)
    print("梯度下降的均方误差为: ", ret2)
    print("梯度下降的回归系数: ", sgd.coef_)
    plt.scatter(y_pre2, y_test, color='y', marker='o')  # 预测值
    plt.scatter(y_test, y_test, color='g', marker='+')  # 真实值
    plt.show()
    # plt.savefig("梯度下降.jpg")


if __name__ == '__main__':
    linear()