一、线性回归模型的概念
(1) 什么是线性?
· 线性:在二元的直角坐标系中,自变量与因变量之间的关系以一条直线表示,因而为“线性”。
· 例:已知汽车的剩余油量,则其可以行驶多长时间?
(2) 什么是回归?
· 例:父代身高与子代身高之间的关系。
· 子代的身高有向族群平均身高“回归”的趋势。
· 因变量为连续型变量:预测用户收入、预测员工通勤距离等。
(3) 什么是回归分析?
· 回归分析着重寻求变量之间近似的函数关系(线性回归即寻求线性函数关系)。
(4) 什么是线性函数?
一元线性函数:
多元线性函数:
二、线性回归的原理及理论基础
三、线性回归模型
线性回归模型的假设如下:
1. 变量是相互无关的,各变量的作用与其它变量取什么值无关。
2. 变量的作用是可以叠加的,公式中各变量是相加的。
在机器学习领域,线性回归模型记为:
则可以统一形式为:
其中:
· 是预测函数
· 是模型参数
· 是特征输入
· 是偏置量
单个训练数据集:,上标(index)表示这是第
个训练示例。
线性回归模型损失函数:
损失函数用来计算真实值与预测值的误差,一般取:
损失函数的一般公式:
假设数据集有 个训练样本,
个特征工程,则平方损失函数公式如下:
线性回归模型的梯度下降训练:
· :学习率,自己设定
· :第
个样本的第
特征