【机器学习与深度学习理论要点】13. 什么是线性回归，线性回归特点及使用情况

1）什么是线性回归

线性回归是指：通过数据样本，找到一个最佳拟合数据样本的线性模型，并用于预测。线性方程的一般表达形式为：
$$y=w_0+w_{1}x$$
其中，x和y为已知，$w_0,w_1$是要经过学习获得的参数。

2）什么情况下使用线性回归

• 数据样本呈线性分布。在二维平面中，线性分布的特征是，数据呈一个狭长的条状分布，并且没有明显弯曲。
• 已知模型为线性模型。

3）线性回归的特点

①优点

• 思想简单，实现容易。建模迅速，对于小数据量、简单的关系很有效。
• 是许多强大的非线性模型基础。
• 线性回归模型容易理解，结果具有很好的可解释性，有利于决策分析。
• 蕴含机器学习中的很多重要思想。

②缺点

• 对于非线性数据或者数据特征间具有相关性多项式回归难以建模。
• 难以很好地表达高度复杂的数据。

4）多元回归

多元回归是线性回归的推广，含有一个变量称为线性回归，含有多个变量称为多元回归。多元回归的表达式为：
$$y=w_0+w_1{x}_1+w_2{x}_2+...+w_n{x}_n$$
只有一个变量的时候，模型是平面中的一条直线；有两个变量的时候，模型是空间中的一个平面；有更多变量时，模型将是更高维的