真正理解最小二乘法（更新中）

真正理解最小二乘法（更新中）

最小二乘法是一种拟合方法，用于对数据进行线性拟合。

例如，我们有以下房价数据，size列为在售房屋的面积（平方米），price为房屋的总价（千元）。

size	price
60	3581.583
61	2849.362
62	2911.82
63	2946.295
64	3731.809
…	…
196	10248.65
197	10702.55
198	10100.39
199	9964.464
200	10614.15

从图中可以看出，很显然，size和price是线性正相关的，我们希望得到一个线性函数 $y_i=m{x}_i+b$ 帮助我们量化考察房屋面积和其售价的关系。首先，我们需要制定一个标准，来考察我们得到的函数拟合结果的优劣。

如下图，对于一个点$(x_0,y_0)$，如果拟合的越好，则点$(x_0,y_0)$到直线$y=mx+b$的距离也就越小，我们使用真实值（$y_0$）与预测值（$m{x}_0+b$）差的在平方$(y-m{x}_0-b{)}^2$考察函数 $y=mx+b$ 拟合结果对点$(x_0,y_0)$的好坏，使用所有点$(x_i,y_i),i=1,2,\dots ,n$真实值（$y_0$）与预测值（$m{x}_0+b$）差的平方之和$E={\sum }_{i=1}^n(y_i-m{x}_i-b{)}^2$考察拟合结果对所有数据的好坏。于是，“最好的直线”可以定义为使得误差$E={\sum }_{i=1}^n(y_i-m{x}_i-b{)}^2$最小的直线$y=mx+b$。问题也被抽象化为求得参数$m,b$，使得$\min (E)$

数据：$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$

待拟合直线方程：$y_i=m{x}_i+b$

找到$(m,b)$以最小化误差方程：$E={\sum }_{i=1}^n(y_i-m{x}_i-b{)}^2$

上述用矩阵表示即为如下：
$$Y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right]X=\left[\begin{array}{cc}{x}_1& 1\\ ⋮& ⋮\\ x_n& 1\end{array}\right]B=\left[\begin{array}{c}m\\ b\end{array}\right]$$
$$\begin{gathered} E=||Y-XB|{|}^2=(Y-XB{)}^T(Y-XB) \\ =Y^{T}Y-2(XB{)}^{T}Y+(XB{)}^T(XB) \end{gathered}$$

求极值常用的一种方式就是求导（对 $B$ 求导就去掉 $B^T$），令：
KaTeX parse error: Undefined control sequence: \derivative at position 2: \̲d̲e̲r̲i̲v̲a̲t̲i̲v̲e̲{E}{B} = 2X^T(X…
(16条消息) 矩阵求导、几种重要的矩阵及常用的矩阵求导公式_Norstc的博客-CSDN博客_矩阵求导

如果 $X^{T}X$ 可逆，有
$$\begin{gathered} X^{T}XB=X^{T}Y \\ B=(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$
结果如下：