机器学习算法 线性回归 正规式 梯度下降 岭回归

# 波士顿房价数据集
from sklearn.datasets import fetch_california_housing, load_boston
# 线性回归 (正规方程 梯度下降)
from sklearn.linear_model import LinearRegression, SGDRegressor
# 岭回归 解决过拟合
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
# 数据标准化
from sklearn.preprocessing import StandardScaler
# 均方误差
from sklearn.metrics import mean_squared_error


# 线性回归预测房价
def mylinear():
    #     获取数据
    lb = load_boston()
    # 分割数据集
    x_trian, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)
    # print(y_test)
    # 数据标准化  由于在线性回归算法中 预测会使用特征值运算 所以目标值也是需要标准化(缩小)
    # 如果还需要查看之前的目标值 则需要调用后 inverse_transform
    # 标准值和目标值的列数不一样需要 两个实例化的标准化API
    std_x = StandardScaler()
    x_trian = std_x.fit_transform(x_trian)
    x_test = std_x.transform(x_test)

    # 0.18 不要求
    # sklearn 0.19版本很多转换器 估计器都要求穿进去的数据是2维的
    std_y = StandardScaler()
    y_train = std_y.fit_transform(y_train.reshape([-1, 1]))
    y_test = std_y.transform(y_test.reshape([-1, 1]))
    # 调用估计器预测
    # 正规方程求解
    lr = LinearRegression()
    lr.fit(x_trian, y_train)
    # 回归系数
    print("线性回归正规方程求解的系数:", lr.coef_)
    # 预测测试集价格
    y_pridict = lr.predict(x_test)
    y_pridict = std_y.inverse_transform(y_pridict)
    print("测试集房子价格:", y_pridict)

    print("***" * 30)

    # 梯度下降求解
    sgd = SGDRegressor()
    sgd.fit(x_trian, y_train)
    print("梯度下降求解的系数", sgd.coef_)
    # 预测房价
    y_predict_ = sgd.predict(x_test)
    y_pridict_ = std_y.inverse_transform(y_predict_)
    print("参数下降求解的房价:", y_pridict_)
    # 回归性能评估平均了每一个误差的平方和求平均值(均方误差)
    # print("正规方程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_pridict))
    # print("梯度下降的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_pridict_))

    print("***"*30)
    # alpha 正则化力度参数 默认1.0
    rd = Ridge(alpha=1.0)
    rd.fit(x_trian,y_train)
    print("参数列表:",rd.coef_)
    y_predict_1 = std_y.inverse_transform(rd.predict(x_test))
    print("岭回归房价",y_predict_1)
    print("正规方程的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_pridict))
    print("梯度下降的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_pridict_))
    print("岭回归均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_predict_1))

    return None


if __name__ == '__main__':
    mylinear()