机器学习线性回归简介

---

1 线性回归应用场景

• 房价预测
• 销售额度预测
• 贷款额度预测

举例：

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

  

• 线性回归用矩阵表示举例

那么怎么理解呢？我们来看几个例子

• 期末成绩：0.7×考试成绩+0.3×平时成绩
• 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.2 线性回归模型介绍

线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

• 线性关系

  • 单变量线性关系：

    

  • 多变量线性关系

    

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

• 非线性关系

  

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：

w_1x_1+w_2x_2^2+w_3x_32w1x1+w2x22+w3x32

3 小结

• 线性回归的定义
  • 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
• 线性回归的分类
  • 线性关系
  • 非线性关系