Keras深度学习笔记 线性回归

定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。

单变量回归

当只有一个变量时，线性模型的函数定义为：

其中，权值w₀为函数在y轴上的截距, w1为解释变量的系数。我们的目标是通过学习得到线性方程的这两个权值，并用它们描述解释变量与目标变量之间的关系。

在只有一个解释变量的特殊情况下，线性回归也称为简单线性回归（simple linear regression）

多元回归

当然，我们可以将线性回归模型扩展为多个解释变量。此时，即为多元线性回归（multiple linear regression）：

向量表示

代价函数

可将线性回归模型看作通过训练数据的样本点来寻找一条最佳拟合直线。通过最小二乘法估计回归曲线的参数，使得回归曲线到样本点垂直距离（残差或误差）的平方和最小。

线性回归中，损失函数用均方误差表示，即最小二乘法。

因此损失代价函数为：

寻找最佳的权重w，有两种方法：正规方程、梯度下降

正规方程

梯度下降

预测函数是线性函数，是连续型函数，连续性函数的主要优点在于：其代价函数/目标函数J(w)是可导的。而且是一个凸函数；这样，可以通过简单、高效的梯度下降优化算法来得到权重，且能保证在训练集样本中的代价函数最小。

梯度下降的原理形象地描述为下山，直到获得一个局部或者全局最小值。在每次迭代中，根据给定的学习速率和梯度的斜率，能够确定每次移动的步幅，按照步幅沿着梯度方向前进一步。

非线性关系

如果是非线性关系，那么回归方程可以理解为：w₁x₁+w₂x₂² +w₃x₃²