机器学习算法原理系列篇8：线性回归算法的数学推导

更多专业的人工智能相关文章，微信搜索  : robot-learner ， 或扫码

 

 

线性回归（Linear Regression）是统计学中常用的方法，也是机器学习中基础的算法。线性回归算法是利用最小平方函数对一个或多个自变量和目标变量（也称因变量）之间关系进行建模的一种回归分析。

 

假设有n个数据点，我们可以用下面的矩阵形式表示数据：

 

 

其中X矩阵中有n 行数据代表了n个数据点，而每一行则代表一个k维的数据点，Y中每一行是数据点x对应的目标变量y，通常为连续数值。在线性回归算法中，一个基本假设是，Y和X线性相关，并且可以用下式表达：

 

 

其中是y的固有误差，是一个平均值为0，方差为δ2的正态分布。换一句话说，y也符合正态随机分布函数，并且平均值为βTx，方差为δ2，即y满足下式分布：

 

 

 

有了这个概率分布，为了得到参数的最佳优化值，我们可以用统计学中的最大似然拟合方法，即最佳的参数就是可以把似然值最大化的参数。把n个x和y的训练数据的值带入似然值的定义，可以得到似然值的公式如下：

 

 

因为连乘的方式不利于数学运算，可以把上式取Log以后再进行运算，并且因为Log函数为单调函数，变换后的形式不会影响我们对最大值所对应的参数判断。

 

 

从上式可以看出，因为δ为不变的常数，寻找似然公式LL(θ)最大值等价于寻找下式的最小值：

 

 

到了这一步，我们可以比较容易看出，上式的形式即大家非常熟悉平方差损失函数形式：即实际值和预测值差别的平方和最小化形式。这个最小化形式也符合优化的直觉。从上面的推导过程可以看出，这个平方差的损失函数根本来源是有统计依据的。

 

 

线性回归也可以用来对非线性问题进行建模。尽管线性回归算法相对于待优化的参数而言总是线性的，但是特征变量可以被加工为非线性的形式。目标变量对应的概率分布可以用下面更加通用的形式表达：

 

上式中， φ(x) 是自变量x的变换形式，可以根据需要尝试不同的非线性方法。常用的特征变量非线性设计方式有下面几种:

• 多项式形式（polynomial）:

 

 

• Sigmoid函数形式：

• 径向基函数形式（Radial basis function）:

• 样条函数（spline），傅里叶变换（Fourier），小波函数等（wavelets）。

 

 

 

在统计上，线性回归可以用来发掘和解释特征变量与目标变量之间的相关性。但是这类应用场景首先需要检验线性回归的假设是否满足，和变量与变量之间是否存在共线性（collinearity）等问题。但是从机器学习预测的角度而言，关注线性回归模型对新数据的预测性是第一位的，特征变量的解释性和共线性问题不是最为关心的问题。