机器学习系列——回归算法（线性回归、岭回归）

一、回归的定义

回归是针对连续变量而言的，比如房屋价格、天气温度等，这些问题有很多影响因素，比如影响房屋价格的因素有位置、是否学区等，通过对这些因素进行回归分析可以得到一个系数，从而预测接下来的房价走势。

二、线性模型

我们进行线性回归分析，其本质是要求出w这个矩阵，即变量的系数。再利用现实中的数据代入方程式中即可得到预测结果。但在预测的过程中肯定不会能完全准确，所以势必会有一些信息的损失。在一元变量中，其结果如下：

上图中的直线为预测值，点为真实值，可以看出拟合过程是有一定差距的。在多元中为：

定义一个损失函数：将真实值与预测值做差再进行平方，可得到一个二次方程组，我们的目的是要找到一个w，使该方程组的值最小。

单变量的损失函数可直观的如下图所示：

直接求解w最小值，一步到位。
在训练数据量过大时，一步到位可能难度过大，且效果不好。此时我们需要另外一种最小化损失函数的方法——梯度下降法


先任意确定一个点，沿着函数的方向往下找，不断更新w的值，直至w最小。
正规方程和梯度下降的API分别为：
sklearn.linear_model.LinearRegression：正规方程
sklearn.linear_model.SGDRegressor：梯度下降

（一）线性回归：波士顿房价

# 导入相关模块
# 导入数据集
from sklearn.datasets import load_boston
# 导入线性回归相关API
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression
# 导入分割数据集API
from sklearn.model_selection import train_test_split
# 导入特征值处理API
from sklearn.preprocessing import StandardScaler
# 导入评估模型API
from sklearn.metrics import mean_squared_error, classification_report

# 实例化数据集
lb = load_boston()
# print(lb.DESCR)
# print("特征值为：", lb.data)
# print("目标值为：", lb.target)
# 将数据集划分为训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target)
# 特征值处理，标准化特征值和目标值【如果不对目标值进行标准化处理，w的值就会失真】;标准化两个处理的api进行处理
std_x = StandardScaler