线性回归（四）—— 标准方程法

标准方程法

预备知识

• 下文均使用大写字母表示矩阵，小写字母带下标表示变量，

  小写字母无下标表示向量

• 一个标量多元函数对一个向量的导数是这样定义的

  我们假设这个函数是$f(x)=w_0{x}_0+w_1{x}_1+\dots +w_n{x}_n$

  那么
  $$\frac{\partial f(x)}{\partial x}=[\frac{\partial f(x)}{\partial x_0},\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\dots ,\frac{\partial f(x)}{\partial x_n}{]}^T$$

• 结论一：
  $$\frac{\partial {\beta }^{T}x}{\partial x}=\beta$$
  证明：这个很简单,把这个f(x)写出来就一目了然了

  ​ $f(x)={\beta }_1{x}_1+{\beta }_2{x}_2+{\beta }_3{x}_3+\dots +{\beta }_n{x}_n$

  ​ 对$x_i$求导就是${\beta }_i$

• 结论二：
  $$\frac{\partial x^{T}Ax}{\partial x}=(A+A^T)x$$
  证明：这个的证明稍微麻烦一点，但对本人来说还是过于easy。还是只要把f(x)展开就行了。

  ​
  $$f(x)=[x_1,x_2,\dots ,x_n]\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & ...& ...\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]=\sum _{i=1}^n{a}_{ii}{x}_i^2+\sum _{i=1}^{n-1}\sum _{j=i+1}^n(a_{ij}+a_{ji})x_i{x}_j$$
  比如f(x)对$x_1$求导就得到$2a_{11}{x}_1+(a_{21}+a_{12})x_2+...+(a_{n1}+a_{1n})x_n$

  写成矩阵形式就是
  $$\left[\begin{array}{c}2a_{11},(a_{12}+a_{21}),...,(a_{1n}+a_{n1})\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]$$

  那f(x)对整个x向量求导就可以写成
  $$\left[\begin{array}{c}2a_{11},(a_{12}+a_{21}),...,(a_{1n}+a_{n1})\\ (a_{21}+a_{12}),2a_{22},...,(a_{2n}+a_{n2})\\ ......,.....,......,......\\ (a_{n1}+a_{1n}),(a_{n2}+a_{2n}),...,2a_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]$$

  将左侧的大矩阵拆开，就可以得到$A+A^T$，故$\frac{\partial x^{T}Ax}{\partial x}=(A+A^T)x$

原理

梯度下降法是一步步迭代找到的极值点，但是标准方程法是直接将所有回归参数算出来了。

先来看代价函数
$$J(w_0,w_1,\dots ,w_n)=\frac{1}{2m}\sum _{i=1}^m(y^i-h_w(x^i){)}^2$$
如果写成矩阵形式就是
$$J(w)=\frac{1}{2m}(y-Xw{)}^T(y-Xw)$$
根据极值点偏导数为0可得
$$\frac{\partial (y-Xw{)}^T(y-Xw)}{\partial w}=0$$

$$\frac{\partial (y-Xw{)}^T(y-Xw)}{\partial w}=\frac{\partial y^{T}y}{\partial w}-\frac{\partial y^{T}Xw}{\partial w}-\frac{\partial w^T{X}^{T}y}{\partial w}+\frac{\partial w^T{X}^{T}Xw}{\partial w}$$

易知
$$\frac{\partial y^{T}y}{\partial w}=0$$
根据结论一可得
$$\frac{\partial y^{T}Xw}{\partial w}=\frac{\partial (X^{T}y{)}^{T}w}{\partial w}=X^{T}y$$
因为$y^{T}Xw$是标量，所以$y^{T}Xw=(y^{T}Xw{)}^T=w^T{X}^{T}y$，故
$$\frac{\partial w^T{X}^{T}y}{\partial w}=X^{T}y$$
根据结论二可得
$$\frac{\partial w^T{X}^{T}Xw}{\partial w}=2X^{T}Xw$$
代入可得
$$0-X^{T}y-X^{T}y+2X^{T}Xw=0$$

$$X^{T}Xw=X^{T}y$$

$$w=(X^{T}X{)}^{-1}{X}^{T}y$$

这样我们就把w向量求出来了。

当然从这里可以看出$X^{T}X$必须存在逆矩阵，不然无法使用标准方程法求出。

标准方程法实现一元线性回归

# encoding:utf-8
import numpy as np
import matplotlib.pyplot as plt


# 载入数据
data = np.genfromtxt("../data/data.csv", delimiter=',')
x_data = data[:, 0, np.newaxis]
y_data = data[:, 1, np.newaxis]

# 给样本加入偏置项
X_data = np.concatenate((np.ones((100, 1)), x_data), axis=1)


# 定义标准方程法求回归参数
def weights(xArray, yArray):
    xMat = np.mat(xArray)
    yMat = np.mat(yArray)
    xTx = xMat.T * xMat
    
    # 判断矩阵是否存在逆矩阵
    if np.linalg.det(xTx) == 0.0:
        print("无法使用标准方程法计算")
        return
    return xTx.I * xMat.T * yMat


ws = weights(X_data, y_data)
x = np.array([[20], [80]])
plt.plot(x_data, y_data, 'b.')
y = ws[0] + x * ws[1]
plt.plot(x, y, 'r')
plt.show()