一、线性回归api
(1)通过正规方程优化
sklearn.linear_model.LinearRegression(fit_intercept=True)
- 通过正规方程优化
- 参数
- fit_intercept:是否计算偏置
- 属性
- LinearRegression.coef_:回归系数
- LinearRegression.intercept_:偏置
(2)通过梯度下降方法优化
sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
- SGDRegressor类实现了随机梯度下降学习,它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
- 参数:
- loss:损失类型
- loss=”squared_loss”: 普通最小二乘法
- fit_intercept:是否计算偏置
- learning_rate : string, optional
- 学习率填充
- 'constant': eta = eta0
- 'optimal': eta = 1.0 / (alpha * (t + t0)) 默认
- 'invscaling': eta = eta0 / pow(t, power_t)
- power_t=0.25:存在父类当中
- 对于一个常数值的学习率来说,可以使用learning_rate=’constant’ ,并使用eta0来指定学习率。
- loss:损失类型
- 属性:
- SGDRegressor.coef_:回归系数
- SGDRegressor.intercept_:偏置
二、波士顿房价预测案例
(1)数据内容
(2)分析
回归当中的数据大小不一致,是否会导致结果影响较大。所以需要做标准化处理。
整个过程可以概括为以下三个部分:
- 数据分割与标准化处理
- 回归预测
- 线性回归的算法效果评估
(3) 回归性能评估
均方误差(Mean Squared Error)MSE)评价机制:
API:sklearn.metrics.mean_squared_error(y_true, y_pred)
- 均方误差回归损失
- y_true:真实值
- y_pred:预测值
- return:浮点数结果
"""
# 数据获取
# 数据基本处理
# 分割数据
# 特征工程
# 机器学习-线性回归
# 模型评估
"""
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression,SGDRegressor
from sklearn.metrics import mean_squared_error
def liner_model_1():
"""
线性回归:正规方程
"""
# 数据获取
boston = load_boston()
# 分割数据
x_train, x_test, y_train,y_test = train_test_split(boston.data, boston.target, test_size=0.2)
# 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 机器学习-线性回归
estimator = LinearRegression()
estimator.fit(x_train, y_train)
print("模型的偏置是:", estimator.intercept_)
print("模型的系数是:", estimator.coef_)
# 模型评估
y_pred = estimator.predict(x_test)
print('预测值是:',y_pred)
# 均方误差
mse = mean_squared_error(y_test, y_pred)
print('均方误差为:',mse)
def liner_model_2():
"""
线性回归:梯度下降
"""
# 数据获取
boston = load_boston()
# 分割数据
x_train, x_test, y_train,y_test = train_test_split(boston.data, boston.target, test_size=0.2)
# 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 机器学习-线性回归
estimator = SGDRegressor(max_iter=2000,learning_rate="constant",eta0=0.0001)
estimator.fit(x_train, y_train)
print("模型的偏置是:", estimator.intercept_)
print("模型的系数是:", estimator.coef_)
# 模型评估
y_pred = estimator.predict(x_test)
print('预测值是:',y_pred)
# 均方误差
mse = mean_squared_error(y_test, y_pred)
print('均方误差为:',mse)
liner_model_1()
print("*************************************************************")
liner_model_2()
三、线性回归模型的选择方法
- 常用:岭回归
-
假设只有少部分特征是有用的:
- 弹性网络(Elastic Net)
- Lasso
一般来说,弹性网络的使用更为广泛。因为在特征维度高于训练样本数,或者特征是强相关的情况下,Lasso回归的表现不太稳定。