【机器学习】线性回归算法概念和最小二乘法数学推导

线性回归算法和最小二乘法数学推导

---

---

前言

本文主要介绍线性回归算法的基本概念，并拓展 理解线性回归算法其中的一些数学原理

---

一、线性回归其中的基本数学概念

1.回归的概念

回归（regression to mean）,意为回归平均值，是指通过历史数据的推算给出期望值，并将期望值作为预测值。而线性回归的原理则就是最小二乘法

2.误差分析

误差${\epsilon }_i$等于第i个样本实际的值，$y_i$减去预测的值，$\hat{y}$，公式可以代表如下：
${\epsilon }_i=|y_i-\hat{y}|$
${\epsilon }_i=|y_i-W^T{x}_i|$
假设所有的样本误差都是独立的，当足够多的随机变量叠加之后形成的分布，它服从的分布就是正态分布。

3.最大似然估计

最大似然估计(maximum likelihood estimation,MLE)一种重要而普遍的求估计量的方法。最大似然估计明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树，最大似然估计是一类完全基于统计的系统发生树重建方法的代表。

4.高斯分布-概率密度函数

最常见的连续概率分布是正态分布，也叫做高斯分布，其概率密度函数如下：
$$f(x|\mu ,{\delta }^2)=\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{(x-\mu {)}^2}{2{\delta }^2}}$$
随着参数$\mu$和参数$\delta$的变化，概率分布也会产生变化。
通过假设数据的误差服从一个高斯分布，并且通过截距项平移整体分布的位置从而使得$\mu =0$,送一样本误差我们可以表示表达其概率密度函数的值如下所示：
$$f(\epsilon |\mu =0,{\delta }^2)=\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{(\epsilon -0{)}^2}{2{\delta }^2}}$$
简化为：
$$f(\epsilon |\mu =0,{\delta }^2)=\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{{\epsilon }^2}{2{\delta }^2}}$$

二、最小二乘法MSE

1.误差总似然

$$P=\prod _{i=0}^{n}f({\epsilon }_i|0,{\delta }^2)=\prod _{i=0}^n\frac{1}{\sqrt{2\pi \epsilon }}{e}^{-\frac{{\epsilon }_i^2}{2{\delta }^2}}$$

$$P_w=\prod _{i=0}^n\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{{\epsilon }_i^2}{2{\delta }^2}}$$
根据${\epsilon }_i=|y_i-W^T{x}_i|$可以推导出来如下的公式：
$$P_w=\prod _{i=0}^n\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{(y_i-W^T{x}_i{)}^2}{2{\delta }^2}}$$

2.log函数的基本的运算法则

• $lo{g}_a(XY)=lo{g}_{a}X+lo{g}_{a}Y$
• $lo{g}_a\frac{X}{Y}=lo{g}_{a}X-lo{g}_{a}Y$
• $lo{g}_a{X}^n=n\ast lo{g}_{a}X$
• $lo{g}_a(X_1,X_2...X_n)=lo{g}_a{X}_1+lo{g}_a{X}_2+..+lo{g}_a{X}_n$
• $lo{g}_X{X}^n=n$
• $lo{g}_a\frac{1}{X}=-lo{g}_{a}X$
• $lo{g}_a\sqrt[x]{N^y}=\frac{y}{x}lo{g}_{a}N$

3.将累乘问题转换成累加问题

$$lo{g}_e(P_w)=lo{g}_e(\prod _{i=0}^n\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{(y_i-W^T{x}_i{)}^2}{2\pi \delta }})$$

$$=\sum _{i=0}^{n}lo{g}_e(\frac{1}{\sqrt{2\pi \delta }}{e}^{-\frac{(y_i-W^T{x}_i{)}^2}{2\pi \delta }})$$
$$=\sum _{i=0}^n(lo{g}_e\frac{1}{\sqrt{2\pi \delta }}-\frac{1}{{\delta }^2}\cdot \frac{1}{2}(y_i-W^T{x}_i{)}^2)$$
其中求最大值的问题可以转换成最小值的问题，也就是求：
$$L(W)=\frac{1}{2}\sum _{i=0}^n(y_i-W^T{x}_i{)}^2$$
的最小值，L代表Loss，表示损失函数，损失函数越小，最上方的最大似然就越大，可以看出，完成了正规方程的推导