线性回归
分类:目标值为离散型数据
回归:目标值为连续型数据
定义
线性模型试图学得一个通过属性(特征)的线性组合来进行预测的函数:
即,线性回归是通过一个或者多个自变量与因变量知间进行建模的回归分析。一元线性回归,涉及到的变量只有一个,多元线性回归,涉及到的变量两个或者两个以上。
numpy中,可以使用 np.dot(x, y) 实现矩阵相乘。
np.dot(x,y):
若x、y为一维数组,则得到的是两数组的内积;
若x、y为二维数组(矩阵),得到的是矩阵乘积。
损失函数(误差大小)
目的:寻找w,使得损失最小。
损失函数的两种优化方法
-
正规方程(不做要求)
缺点:当特征过于复杂,求解速度太慢;对于复杂的算法,不能使用正规方程求解。
-
梯度下降
正规方程与梯度下降对比
sklearn 正规方程API:
sklearn.linear_model.LinearRegression()
- 普通最小二乘线性回归
- coef_:回归系数
sklearn梯度下降API:
sklearn.linear_model.SGDRegression()
4. 通过使用SGD最小化线性模型
5. coef_:回归系数
回归性能评估
案例:波士顿房价
案例分析流程:
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression, SGDRegressor
from sklearn.metrics import mean_squared_error
def mylinear():
"""
线性回归预测房子价格
:return: None
"""
# 获取数据
lb = load_boston()
# 分割数据集为训练集和测试集
x_tarin, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)
# 进行标准化处理(both特征值and目标值,所以要实例化两个标准化API)
std_x = StandardScaler()
x_train = std_x.fit_transform(x_tarin)
x_test = std_x.transform(x_test)
std_y = StandardScaler()
y_train = std_y.fit_transform(y_train.reshape(-1, 1))
y_test = std_y.transform(y_test.reshape(-1, 1))
# estimator预测
# 正规方程求解方式预测结果
lr = LinearRegression()
lr.fit(x_train, y_train)
print(lr.coef_)
y_predict = lr.predict(x_test)
print("测试集里面每个房子的价格:", std_y.inverse_transform(y_predict))
print("正规方程的均方误差:", mean_squared_error(std_y.inverse_transform(y_test.reshape(-1, 1)), std_y.inverse_transform(y_predict)))
# 梯度下降进行房价预测
sgd = SGDRegressor()
sgd.fit(x_train, y_train)
print(sgd.coef_)
y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
print("测试集房子预测价格:", y_sgd_predict)
print("梯度下降均方误差:", mean_squared_error(std_y.inverse_transform(y_test.reshape(-1, 1)), std_y.inverse_transform(y_sgd_predict)))
return None
if __name__ == '__main__':
mylinear()
注意:
第24行报错。原因:转换器要求输入数据为二维:
因此改为:
过拟合与欠拟合
欠拟合的原因及解决办法
原因:学习到的数据的特征过少;训练集样本少
解决办法:增加数据集的特征数量
过拟合的原因及解决办法
原因:原始特征过多,存在一些嘈杂特征;模型过于复杂是因为模型尝试去兼顾各个测试数据点
解决办法:
- 进行特征选择,消除关联大的特征(很难做);
- 交叉验证(让所有数据都有过训练);
- 正则化。
决策树解决过拟合的方法:控制最小的叶子节点的数量(样本个数);使用随机森林。
岭回归(带有正则化的线性回归)
sklearn.linear_model.Ridge(alpha = 1.0)
具有L2正则化的线性最小二乘法
alpha:正则化力度
coef_:回归系数
正则化程度的变化对结果的影响:
线性回归与岭回归的对比
相比线性回归LinearRegression(容易过拟合),岭回归得到的回归系数更符合实际,更可靠。另外,能让估计参数的波动范围变小,变得更稳定,在存在病态数据偏多的研究中具有较大的实用价值。
sklearn模型的保存与加载
sklearn.externals.joblib
模型的保存
joblib.dump(rf, "路径“)
模型的加载
estimator = joblib.load("路径”) — 返回估计器
注意:文件格式为pkl,如 test.pkl