03-回归算法：线性回归

线性回归

一、介绍

1、模型

试图学得一个通过属性的线性组合来进行预测的函数

• 加b：为了使对单个特征的情况更加通用
• x为不同特征 

2、定义

3、损失函数(误差大小)

如何去求模型当中的W，使得损失最小？ （目的是找到最小损失对应的W值）

二、方法

1、sklearn线性回归正规方程

语法：sklearn.linear_model.LinearRegression（） 普通最小二乘正规方程线性回归

• coef_：回归系数

2、sklearn线性回归梯度下降

语法：sklearn.linear_model.SGDRegressor（） 通过使用SGD最小化线性模型

• coef_：回归系数

3、正规方程和梯度下降方法对比：

• 小规模数据：LinearRegression(不能解决拟合问题)以及其它
• 大规模数据：SGDRegressor

三、回归性能评估

(均方误差(Mean Squared Error)MSE) 评价机制：

 语法：sklearn.metrics.mean_squared_error

mean_squared_error(y_true, y_pred) 均方误差回归损失

• y_true:真实值
• y_pred:预测值
• return:浮点数结果

（注：真实值，预测值为标准化之前的值）

四、过拟合和欠拟合

1、过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂) 。

• 原因： 原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾 各个测试数据点
• 解决办法： 进行特征选择，消除关联性大的特征(很难做) 交叉验证(让所有数据都有过训练) 正则化(了解)

2、欠拟合：一个假设在训练数据上不能获得更好的拟合， 但是在训练数据外的数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)。

• 原因： 学习到数据的特征过少
• 解决办法： 增加数据的特征数量

五、改进

1、出现的问题

 对线性模型进行训练学习会变成复杂模型（线性->非线性）。

2、正则化

作用：可以使得W的每个元素都很小，都接近于0。

优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。

3、岭回归--带有正则化的线性回归-Ridge

语法：sklearn.linear_model.Ridge(alpha=1.0) 具有l2正则化的线性最小二乘法

• alpha:正则化力度
• coef_:回归系数

岭回归：回归得到的回归系数更符合实际，更可靠。另外，能让估计参数的波动范围变小，变的更稳定。在存在病态数据偏多的研 究中有较大的实用价值。

六、案例

波士顿房价数据案例分析流程

• 1、波士顿地区房价数据获取
• 2、波士顿地区房价数据分割
• 3、训练与测试数据标准化处理
• 4、使用最简单的线性回归模型LinearRegression和 梯度下降估计SGDRegressor对房价进行预测

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error  #均方误差
import pandas as pd
import numpy as np

def mylinear():
    """
    线性回归直接预测房子价格
    :return: None
    """
    # 获取数据
    lb = load_boston()

    # 分割数据集到训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)

    # 进行标准化处理(?) 目标值处理？
    # 特征值和目标值是都必须进行标准化处理, 实例化两个标准化API
    std_x = StandardScaler()
    x_train = std_x.fit_transform(x_train)
    x_test = std_x.transform(x_test)
    # 目标值
    std_y = StandardScaler()
    y_train = std_y.fit_transform(y_train.reshape(-1, 1))
    y_test = std_y.transform(y_test.reshape(-1, 1))


    """estimator预测"""
    """正规方程求解方式预测结果"""
    lr = LinearRegression()
    lr.fit(x_train, y_train)
    print(lr.coef_)  #打出权重参数

    #预测测试集的房子价格
    y_lr_predict = std_y.inverse_transform(lr.predict(x_test))
    print("正规方程测试集里面每个房子的预测价格：", y_lr_predict)
    print("正规方程的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_lr_predict))


    """梯度下降去进行房价预测"""
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    print(sgd.coef_)

    # 预测测试集的房子价格
    y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
    print("梯度下降测试集里面每个房子的预测价格：", y_sgd_predict)
    print("梯度下降的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_sgd_predict))
    # x = std_y.inverse_transform(y_test)
    # y = y_sgd_predict
    # plt.plot(x,'r', y, 'g')
    # plt.show()


    """岭回归进行房价预测"""
    rd = Ridge(alpha=1)   #alpha=0~1,1~10
    rd.fit(x_train, y_train)
    print(rd.coef_)

    # 预测测试集的房子价格
    y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
    print("岭回归测试集里面每个房子的预测价格：", y_rd_predict)
    print("岭回归的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))
    return None

if __name__ == "__main__":
    logistic()