机器学习算法：线性回归简介

学习目标

• 了解线性回归的应用场景
• 知道线性回归的定义

---

1 线性回归应用场景

• 房价预测

• 销售额度预测

• 贷款额度预测

举例：

 

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

 

• 线性回归用矩阵表示举例

 

那么怎么理解呢？我们来看几个例子

• 期末成绩：0.7×考试成绩+0.3×平时成绩
• 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.2 线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系。在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

• 线性关系

  • 单变量线性关系：

 

• 多变量线性关系

• 

 

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

• 非线性关系

 

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：

w_1x_1+w_2x_2^2+w_3x_3^2w​1​​x​1​​+w​2​​x​2​2​​+w​3​​x​3​2​​

3 小结

• 线性回归的定义【了解】
  • 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
• 线性回归的分类【知道】
  • 线性关系
  • 非线性关系