回归算法-线性回归分析
回归:目标值连续
线性回归:寻找一种能预测的趋势
线性关系:二维,直线关系;三维,目标值在一个平面内。
线性模型
通过属性的线性组合来进行预测的函数:
线性回归
预测结果与真实值是有一定的误差
单变量:
多变量:
损失函数(误差大小)
尽量去减少这个损失(两种方式),目的是找到最小损失对应的W值。
最小二乘法之正规方程(参数最优解)
这个参数向量,就可以让代价函数取最小值。
梯度下降法
sklearn线性回归正规方程、梯度下降API
正规方程:
sklearn.linear_model.LinearRegression
梯度下降:
sklearn.linear_model.SGDRegressor
coef_:回归系数
线性回归实例
波士顿房价数据集分析流程
1、波士顿地区房价数据获取
2、波士顿地区房价数据分割
3、训练与测试数据标准化处理
4、使用最简单的线性回归模型LinearRegression和
梯度下降估计SGDRegressor对房价进行预测