最小二乘法及其代码实现

简介

最小二乘法就是用过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据。

一元线性回归下的最小二乘法

下面来讲解一下最小二乘法(以二维数据为例)
首先,我们得到一组数据($x_1,y_1$), ($x_2,y_2$)…($x_n,y_n$),我们的预测函数 $f(x_i)=\omega x_i+b$,也就是预测值${\hat{y}}_i$, 那么我们的误差的平方和为:
$$\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n(y_i-\omega x_i-b{)}^2$$
而我们需要使得上面的式子为最小值,从而求得我们需要的$\omega 和b$, 我们将其记作$({\omega }^{\ast },b^{\ast })$,即
$$({\omega }^{\ast },b^{\ast })=\arg \underset{(\omega ,b)}{\min }\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\arg \underset{(\omega ,b)}{\min }(y_i-\omega x_i-b{)}^2$$
求解$\omega$和$b$的使得$E_{(\omega ,b)}={\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$的过程,称为线性回归模型的最小二乘"参数估计"
我们要求得$E_{(\omega ,b)}$的最小值,只需要求得其极值即可。
我们可将$E_{(\omega ,b)}$分别对$\omega$和$b$求偏导:
$$\frac{\partial E(\omega ,b)}{\partial \omega }=2\left(\omega \sum _{i=1}^n{x}_i^2-\sum _{i=1}^n(y_i-b)x_i\right)=0$$
$$\frac{\partial E(\omega ,b)}{\partial b}=2\left(nb-\sum _{i=1}^n(y_i-\omega x_i)\right)=0$$
对上面的方程求解可以得到
$$\omega =\frac{{\sum }_{i=1}^n{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^n{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^n(y_i-\omega x_i)$$
其中$\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$即$\overline{x}$是$x$的均值

通过上面的步骤我们就可以得到最小二乘法的$\omega 和b$了。
从而我们就可以得到关系式$f(x_i)=\omega x_i+b$

多元线性回归下的最小二乘法

同样的,如果将最小二乘法应用到$n$维数据中
我们的数据$x$如下:
$$x=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2}n\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right)$$
对应的$\omega$为$\left(\begin{array}{cccc}{\omega }_1& {\omega }_2& \dots & {\omega }_n\end{array}\right)$,所对应的方程为
${\omega }_1{x}_1+{\omega }_2{x}_2+\cdots +{\omega }_n{x}_n+b$
为了方便计算,我们可以将$b$放在$x$和$\omega$中,即将$b$作为一维,其为固定值1,参数为${\omega }_b$
$$\begin{gathered} x=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1n}& 1\\ x_{21}& x_{22}& \dots & x_{2}n& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{mn}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right) \\ \omega =\left(\begin{array}{ccccc}{\omega }_1& {\omega }_2& \dots & {\omega }_n& {\omega }_b\end{array}\right) \end{gathered}$$
因此,我们的方程就变为了$f(x_i)={\omega }^{T}x$
与上方一元线性回归下的误差类似地
$${\omega }^{\ast }=\arg \underset{\omega }{\min }(y-X\omega {)}^T(y-X\omega )$$
令$E_{\omega }=(y-X\omega {)}^T(y-X\omega )$,对$\omega$求导可得:
$$\frac{\partial E_{\omega }}{\partial \omega }=2X^T(X\omega -y)$$
令上式等于零可得$\omega$的最优解:
$${\omega }^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
从而可以得到我们需要的函数$f(x_i)={\omega }^{\prime T}{x}^{\prime }={\omega }^{T}x+{\omega }_b={\omega }^{T}x+b$也就是$f(x_i)=x_i^T(X^{T}X{)}^{-1}{X}^{T}y$

多元最小二乘法也是用与一元线性回归

最小二乘法的代码实现

def LeastSquareMethod(X, Y):
	"""
		最小二乘法
	:param X: 未进行扩展的X矩阵
	:param Y: X矩阵相对应的结果集矩阵
	:return X_b: 进行扩展处理后的X矩阵
	:return omega: 使用最小二乘法求得的w
	"""
	# 对X矩阵进行扩展
	X_b = np.c_[np.ones((len(X), 1)), X]
	'''
	np.linalg.inv用来求矩阵的逆矩阵
	dot表示矩阵祥恒
	T表示矩阵的转置
	'''
	omega = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)
	return X_b, omega

实例

import numpy as np
import matplotlib.pyplot as plt


def LeastSquareMethod(X, Y):
	"""
		最小二乘法
	:param X: 未进行扩展的X矩阵
	:param Y: X矩阵相对应的结果集矩阵
	:return X_b: 进行扩展处理后的X矩阵
	:return omega: 使用最小二乘法求得的w
	"""
	# 对X矩阵进行扩展
	X_b = np.c_[np.ones((len(X), 1)), X]
	'''
	np.linalg.inv用来求矩阵的逆矩阵
	dot表示矩阵祥恒
	T表示矩阵的转置
	'''
	omega = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)
	return X_b, omega


if __name__ == '__main__':
	X = np.random.rand(100, 1)
	Y = 4 + 3 * X + np.random.rand(100, 1)
	X_b, omega = LeastSquareMethod(X, Y)
	Y2 = X_b.dot(omega)
	plt.plot(X, Y, 'o')
	plt.plot(X, Y2, 'r')
	plt.show()

得到的图像为