线性回归之原理介绍

• 线性回归是研究平均意义下变量与变量之间的定量关系表达式

• 线性回归损失函数一般是均方误差(MSE)

• 求解线性回归参数通常有最小二乘法和梯度下降法

• 最小二乘法的几何意义是高维空间中的一个向量在低维子空间的投影

• 最小二乘法与noise为高斯分布的最大似然估计等价

• L1正则化通过稀疏化(减少参数数量)来降低模型复杂度的(参数值可减小到0)

• L2正则化通过减少参数值大小来降低模型复杂(参数值永远不会减小到0)

1. 线性回归关系表达式

这节我们来对线性回归算法做一个介绍。为了适应一般性情况，直接从多元线性回归说起。

回归分析处理的是变量与变量间的关系。常见的关系有两种：确定性关系和相关关系。我们知道，变量间的相关关系不能用完全确定的函数形式表示，但在平均意义下有一定的定量关系表达式，寻找这种关系表达式就是回归分析的主要任务。

设y与x间有相关关系，称x为自变量（预报变量）,y为因变量（响应变量），在知道x取值后Y的条件密度函数p(y|x)，对于y的均值E(Y|x），有：

这是第一类回归问题，是在x与y均为随机变量场合进行的。

实际中，自变量x是可控变量，只有y是随机变量，它们之间的相关关系为：

这是第二类回归问题。通常情况下，研究的是此类回归问题。

y关于x的多元线性回归数据结构式为：

式中的ϵ称为噪声项，表示没被已有数据捕捉到的随机变动因子，对于噪声项可以这么理解：我们对y的预测是不可能达到与真实值完全一样的，这个真实值只有上帝知道，因此必然会产生误差，我们就用ϵ来表示这个无法预测的误差。

接下来的问题是要如何定义这个无法预测的误差项呢？