大话系列：线性回归

#博学谷IT学习技术支持#   

目录

一、线性回归概念

二、特征方程

三、求解方法

1、最小二乘法(LSM)

2、梯度下降

四、优化方法

1、数据归一化/标准化

2、过拟合的处理

3、欠拟合的处理

4、正则化介绍       

五、评价指标

1、代价函数：

2、R方系数

六、案例实战代码

---

一、线性回归概念

        一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，得预测值与真实值之间的误差最小化。

二、特征方程​​​​​​​

三、求解方法

1、最小二乘法(LSM)

        以特征值为变量，对残差平方和进行求偏导，以便找到损失的最低点

        

        用矩阵表示目标函数，就是用差值矩阵的偏置矩阵乘矩阵，然后在求特征值的偏导

        

2、梯度下降

        批量梯度下降：梯度下降的每一步中，都用到了所有的训练样本

         随机梯度下降：梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数 ，而不需要首先将所有的训练集求和

         小批量梯度下降：梯度下降的每一步中，用到了一定批量的训练样本

两者比较：

        梯度下降：需要选择学习率𝛼，并多次迭代，当特征数量𝑛大时也能较好适用，适用于各种类型的模型。

        最小二乘法：一次计算得出，如果特征数量𝑛较大则运算代价大，只适用于线性模型，不适合逻辑回归模型等其他模型。

四、优化方法

1、数据归一化/标准化

        提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

        加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

2、过拟合的处理

        获得更多的训练数据；

        降维
        正则化
        集成学习方法

3、欠拟合的处理

        添加新特征
        增加模型复杂度

        减小正则化系数

4、正则化介绍       

        𝑳𝟏正则化是指在损失函数中加入权值向量w的绝对值之和，𝑳𝟏的功能是使权重稀疏

        𝑳𝟐正则化是指在损失函数中加入权值向量w的平方和，𝑳𝟐的功能是使权重平滑，可以防止过拟合

五、评价指标

1、代价函数：

        度量全部样本集的平均误差。

        常见的有均方误差、均方根误差、平均绝对误差

2、R方系数

        越接近于1,说明模型拟合得越好

六、案例实战代码

# 波士顿房价预测
	## 回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。同时我们对目标值也需要做标准化处理

def mylinearregression():
    """
    线性回归预测房子价格
    :return:
    """
        
    lb = load_boston()
    # print(lb.data)
    # print(lb.target)
    # 对数据集进行划分
    x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.3, random_state=24)

    # 特征数据标准化
    std_x = StandardScaler()
    x_train = std_x.fit_transform(x_train)
    x_test = std_x.fit_transform(x_test)

    # 目标数据标准化
    std_y = StandardScaler()
    y_train = std_y.fit_transform(y_train)
    y_test = std_y.transform(y_test)
    # 目标数据标准化反转
    y_test = std_y.inverse_transform(y_test)

    # 线性模型准备，使用正规方程求解
    lr = LinearRegression()
    # 模型训练
    lr.fit(x_train, y_train)
    # 模型预测
    y_predict = lr.predict(x_test)
    # 目标数据标准化反转
    y_it_predict = std_y.inverse_transform(y_predict)

    print("权重参数为：",lr.coef_)
        
    # 模型评估
    print("正规方程的均方误差为：", sklearn.metrics.mean_squared_error(y_test, y_lr_predict))

    # 梯度下降预测模型准备
    sgd = SGDRegressor()
    # 模型训练
    sgd.fit(x_train, y_train)
    print("SGD的权重参数为：", sgd.coef_)
    # 模型预测，并标准化反转
    y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))

    # 模型评估
    print("SGD的均方误差为：", sklearn.metrics.mean_squared_error(y_test, y_sgd_predict))

    return None