[回归] 线性回归之解析解的推导过程

线性回归

Linear Regression——线性回归

是什么?

是机器学习中有监督机器学习下的一种简单的回归算法。
分为一元线性回归(简单线性回归)和多元线性回归,其中一元线性回归是多元线性回归的一种特殊情况,我们主要讨论多元线性回归

做什么?

回归问题关注的是一个因变量和一个或多个自变量的关系,根据已知的自变量来预测因变量.
如果因变量和自变量之间的关系满足线性关系(自变量的最高幂为一次),那么我们可以用线性回归模型来拟合因变量与自变量之间的关系.

怎么做?

简单线性回归的公式如下:
$$\hat{y}=ax+b$$
多元线性回归的公式如下:
$$\hat{y}={\theta }^{T}x$$
上式中的$\theta$为系数矩阵,x为单个多元样本.
由训练集中的样本数据来求得系数矩阵,求解的结果就是线性回归模型,预测样本带入x就能获得预测值$\hat{y}$,求解系数矩阵的具体公式接下来会推导.

推导过程

推导总似然函数

假设线性回归公式为$\hat{y}=\theta x$.
真实值y与预测值$\hat{y}$之间必然有误差$ϵ=\hat{y}-y$,按照中心极限定理(见知识储备),我们可以假定$ϵ$服从正态分布,正态分布的概率密度公式为:
$$\rho (x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
为了模型的准确性,我们希望$ϵ$的值越小越好,所以正态分布的期望$\mu$为0.概率函数需要由概率密度函数求积分,计算太复杂,但是概率函数和概率密度函数呈正相关,当概率密度函数求得最大值时概率函数也在此时能得到最大值,因此之后会用概率密度函数代替概率函数做计算.
我们就得到了单个样本的误差似然函数($\mu =0,\sigma$为某个定值):

$$\rho (ϵ)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(ϵ-0{)}^2}{2{\sigma }^2}}$$

而一组样本的误差总似然函数即为:
$$L_{\theta }({ϵ}_1,\cdots ,{ϵ}_m)=f({ϵ}_1,\cdots ,{ϵ}_m|\mu ,{\sigma }^2)$$
因为我们假定了$ϵ$服从正态分布,也就是说样本之间互相独立,所以我们可以把上式写成连乘的形式:

$$f({ϵ}_1,\cdots ,{ϵ}_m|\mu ,{\sigma }^2)=f({ϵ}_1|\mu ,{\sigma }^2)\ast \cdots \ast f({ϵ}_m|\mu ,{\sigma }^2)$$

所以
$$L_{\theta }({ϵ}_1,\cdots ,{ϵ}_m)=\prod _{i=1}^{m}f({ϵ}_i|\mu ,{\sigma }^2)=\prod _{i=1}^m$$