线性回归

1 回归问题：目标值 - 连续型的数据
2 线性回归的原理
    什么是线性回归
    1）函数关系 特征值和目标值
    2）线型模型
        线性关系
    y = w1x1 + w2x2 + w3x3 + …… + wnxn + b
      = wTx + b
    广义线性模型
        非线性关系？
        线性模型
            1）自变量一次
             y = w1x1 + w2x2 + w3x3 + …… + wnxn + b
            2）参数一次
             y = w1x1 + w2x1^2 + w3x1^3 + w4x2^3 + …… + b
        线性关系&线性模型
        线性关系一定是线性模型
        线性模型不一定是线性关系
3 线性回归的损失和优化原理（理解记忆）
    目标：求模型参数
        模型参数能够使得预测准确
    真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
    随意假定：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率
    损失函数/cost/成本函数/目标函数：
        最小二乘法
    优化损失方法
        1）正规方程（矩阵求导一次运算求出）
            天才 - 直接求解W
        2）梯度下降（迭代求解）
            勤奋努力的普通人
                试错、改进
4 波士顿房价预测
    流程：
        1）获取数据集
        2）划分数据集
        3）特征工程：
            无量纲化 - 标准化
        4）预估器流程
            fit() --> 模型
            coef_ intercept_
        5）模型评估
5 回归的性能评估：均方误差
6 正规方程和梯度下降对比
    正规方程复杂度较高O（n^3），适用于小数据量，梯度下降灵活性高（可以调参数），适用于大数据量，梯度下降更常用。

 

代码一（正规方程优化）：

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

def linear1():
    """
    正规方程的优化方法对波士顿房价进行预测
    :return:
    """
    # 1）获取数据
    boston = load_boston()

    # 2）划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3）标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4）预估器
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5）得出模型
    print("正规方程-权重系数为：\n", estimator.coef_)
    print("正规方程-偏置为：\n", estimator.intercept_)

    # 6）模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价：\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("正规方程-均方误差为：\n", error)

    return None

if __name__ == "__main__":
    linear1()

 

代码二（梯度下降优化）：

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor
from sklearn.metrics import mean_squared_error

def linear2():
    """
    梯度下降的优化方法对波士顿房价进行预测
    :return:
    """
    # 1）获取数据
    boston = load_boston()
    print("特征数量：\n", boston.data.shape)

    # 2）划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3）标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4）预估器  eta0是一个超参数，代表学习率
    estimator = SGDRegressor(learning_rate="constant", eta0=0.01, max_iter=10000, penalty="l1")
    estimator.fit(x_train, y_train)

    # 5）得出模型
    print("梯度下降-权重系数为：\n", estimator.coef_)
    print("梯度下降-偏置为：\n", estimator.intercept_)

    # 6）模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价：\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("梯度下降-均方误差为：\n", error)

    return None

if __name__ == "__main__":
    linear2()