回归与聚类——线性回归（一）

回忆一下，回归问题的判定是什么？

线性回归的原理

1线性回归应用场景

• 房价预测
• 销售额度预测
• 金融：贷款额度预测、利用线性回归以及系数分析因子

2什么是线性回归
（1）定义与公式
线性回归(Linear regression)是利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
  

那么怎么理解呢？我们来看几个例子：

• 期末成绩：0.7 × 考试成绩 + 0.3 × 平时成绩
• 房子价格 = 0.02 × 中心区域的距离 + 0.04 × 城市一氧化氮浓度 + (-0.12 × 自住房平均房价) + 0.254 × 城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

（2）线性回归的特征与目标的关系分析
线性回归当中线性模型有两种，一种是线性关系，另一种是非线性关系。在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

• 线性关系

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系。更高维度的我们不用自己去想，记住这种关系即可。

• 非线性关系

注释：为什么会这样的关系呢？原因是什么？
如果是非线性关系，那么回归方程可以理解为：

线性关系&线性模型

• 线性关系一定是线性模型
• 线性模型不一定是线性关系

线性回归的损失和优化原理(理解记忆)

目标：求模型参数
模型参数能够使得预测准确

假设刚才的房子例子，真实的数据之间存在这样的关系：

真实关系:真实房子价格 = 0.02 × 中心区域的距离 + 0.04 × 城市一氧化氮浓度 + (-0.12 × 自住房平均房价) + 0.254 × 城镇犯罪率

那么现在呢，我们随意指定一个关系（猜测）：

随意假定:预测房子价格 = 0.25 × 中心区域的距离 + 0.14 × 城市一氧化氨浓度 + 0.12 × 自住房平均房价 + 0.34 × 城镇犯罪率

请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

既然存在这个误差，我那我们就将这个误差给衡量出来。

1损失函数

总损失定义为：

• y_i为第i个训练样本的真实值
• h(x_i)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

如何去减少这个损失，使我们预测的更加准确些？
既然存在了这个损失，而机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失。

2优化算法

如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
线性回归经常使用的两种优化算法：

• 正规方程
  

理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果。
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果。
扩展理解：

• 梯度下降

理解：a为学习速率，需要手动指定（超参数），a旁边的整体表示方向
沿着这个函数下降的方向找，最后就能找到山谷的最低点，然后更新W值。
使用：面对训练数据规模十分庞大的任务，能够找到较好的结果。

所以有了梯度下降这样一个优化算法，回归就有了“自动学习”的能力

线性回归API

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 通过正规方程优化
  • fit_intercept：是否计算偏置
  • LinearRegression.coef_：回归系数
  • LinearRegression.intercept_：偏置
• sklearn.inear_model.SGDRegressor(loss=“squared _loss”,fit_intercept=True, learning_rate =‘invscaling’,eta0=0.01)
  • SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
  • loss：损失类型
    • "loss=“squared_loss”：普通最小二乘法
  • fit_intercept：是否计算偏置
  • learning_rate：string, optional
    • 学习率填充
    • ‘constant’：eta = eta0
    • ‘optimal’: eta = 1.0 / (alpha *(t + t0)) [default]
    • ‘invscaling’：eta=eta0 / pow(t, power_t)
      • power_t=0.25：存在父类当中
    • 对于一个常数值的学习率来说，可以使用learning_rate='constant’，并使用eta0来指定学习率。
  • SGDRegressor.coef_：回归系数
  • SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API，可以根据选择使用

波士顿房价预测

• 数据介绍

这是UCI ML(欧文加利福尼亚大学 机器学习库)房价数据集的副本。https://archive.ics.uci.edu/该数据集是从位于卡内基梅隆大学维护的StatLib图书馆取得的。