【机器学习】002_线性回归模型Part.1_理论过程(1)

一、线性回归模型的概念

(1) 什么是线性？

· 线性：在二元的直角坐标系中，自变量与因变量之间的关系以一条直线表示，因而为“线性”。

· 例：已知汽车的剩余油量，则其可以行驶多长时间？

(2) 什么是回归？

· 例：父代身高与子代身高之间的关系。

· 子代的身高有向族群平均身高“回归”的趋势。

· 因变量为连续型变量：预测用户收入、预测员工通勤距离等。

(3) 什么是回归分析？

· 回归分析着重寻求变量之间近似的函数关系（线性回归即寻求线性函数关系）。

(4) 什么是线性函数？

一元线性函数：

多元线性函数：

二、线性回归的原理及理论基础

三、线性回归模型

线性回归模型的假设如下：

1. 变量是相互无关的，各变量的作用与其它变量取什么值无关。

2. 变量的作用是可以叠加的，公式中各变量是相加的。

在机器学习领域，线性回归模型记为：

则可以统一形式为：

                                             

其中：

·  是预测函数

·  是模型参数

·  是特征输入

·  是偏置量

单个训练数据集：，上标(index)表示这是第  个训练示例。 

线性回归模型损失函数：

损失函数用来计算真实值与预测值的误差，一般取：

                                                                

损失函数的一般公式：

假设数据集有  个训练样本， 个特征工程，则平方损失函数公式如下：

                                        

线性回归模型的梯度下降训练：

· ：学习率，自己设定

· ：第  个样本的第  特征