标准方程法

标准方程法原理

       标准安全法与梯度下降法都是用来解决线性回归的方法。假如有一个代价函数J(θ)，画出图像如下图，可以看到这个代价函数有一个全局最小值，通过求导，令导数为0，可以求出θ1、θ2……的值。

      可以看一个示例：有很多房子的样本（根据房子的面积、房间数量、楼层数量、房子的修建年数，给出了该房子的价格），可以将影响房子的因素设为x1，x2，x3，x4，房子的价格设为y，（由于因素有很多，根据多项式回归的方程，我们可以加1列单位向量x0，即全为1的一列数据，看为偏置值），根据数据样本，我们构建一个矩阵X，权重向量w（也可以用θ），结果y向量，如下图所示：


       根据一般的代价函数公式，可以通过所定义的矩阵，用矩阵来表达代价函数，结果如下：


       下面我们来了解标准方程法：（求导需要用到的一些公式可以去维基百科查找：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities）

线性回归实现标准方程法

 import numpy as np
 from numpy import genfromtxt
 import matplotlib.pyplot as plt

 # 载入数据
 data = np.genfromtxt("data.csv",delimiter=',')
 x_data = data[:,0,np.newaxis]
 y_data = data[:,1,np.newaxis]
 plt.scatter(x_data,y_data)
 plt.show()

 print(np.mat(x_data).shape) # shape表示形状，输出结果(100,1)表示100行1列
 print(np.mat(y_data).shape)
 # 给样本添加偏置项
 X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)
 # np.ones(100,1)表示数据全部为1的100行1列的数据
 # concatenate函数是做数据的合并的，axis表示合并的方向
 print(X_data.shape) #最后查看输出结果的形状，输出为(100,2),表示是100行2列

 print(x_data[:3]) # 打印前3行数据

 # 标准方程法求解回归参数
 def weights(xArr,yArr):
     xMat = np.mat(xArr) # numpy的mat方法可以改变格式为矩阵格式
     yMat = np.mat(yArr)
     xTx = xMat.T*xMat # 矩阵乘法
     # 计算矩阵的值，如果值为0，说明该矩阵没有逆矩阵，linalg.det()用来计算矩阵值
     if np.linalg.det(xTx) == 0.0:
         print("This matrix cannot do inverse")
         return
     # xTx.I为xTx的逆矩阵
     ws = xTx.I*xMat.T*yMat
     return ws

 ws = weights(X_data,y_data)
 print(ws)

 # 画图
 x_test = np.array([[20],[80]])
 y_test =  ws[0] + x_test*ws[1]
 plt.plot(x_data,y_data,'b.')
 plt.plot(x_test,y_test,'r')
 plt.show()

       最后结果如下：
(100, 1)
(100, 1)
(100, 2)
[[32.50234527]
[53.42680403]
[61.53035803]]
[[7.99102098]
[1.32243102]]