正规方程实现多变量线性回归

相比于梯度下降算法，正规方程解法更加简洁。

𝜃 = (𝑋𝑇𝑋)−1𝑋𝑇𝑦 的推导过程：

𝐽(𝜃) = 1/ 2𝑚
∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖))2 𝑚
𝑖=1

其中：ℎ𝜃(𝑥) = 𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2+…+𝜃𝑛𝑥𝑛

将向量表达形式转为矩阵表达形式，则有𝐽(𝜃) = 1 /2
(𝑋𝜃 − 𝑦)2 ，
其中𝑋为𝑚行𝑛列的矩阵
（𝑚为样本个数，𝑛为特征个数），𝜃为𝑛行 1 列的矩阵，𝑦为𝑚行 1 列的矩阵，

对𝐽(𝜃)进行如
下变换:

𝐽(𝜃) =
1 /2
(𝑋𝜃 − 𝑦)𝑇(𝑋𝜃 − 𝑦)

=1 /2(𝜃𝑇𝑋𝑇 − 𝑦𝑇)(𝑋𝜃 − 𝑦)

=
1/ 2
(𝜃𝑇𝑋𝑇𝑋𝜃 − 𝜃𝑇𝑋𝑇𝑦 − 𝑦𝑇𝑋𝜃 − 𝑦𝑇𝑦)

接下来对𝐽(𝜃)偏导，需要用到以下几个矩阵的求导法则:

𝑑𝐴𝐵/ 𝑑𝐵
= 𝐴𝑇

𝑑𝑋𝑇𝐴𝑋/ 𝑑𝑋
= 2𝐴𝑋

所以有:

𝜕𝐽(𝜃) 𝜕𝜃

1/ 2
(2𝑋𝑇𝑋𝜃 − 𝑋𝑇𝑦 − (𝑦𝑇𝑋)𝑇 − 0)

=
1 /2
(2𝑋𝑇𝑋𝜃 − 𝑋𝑇𝑦 − 𝑋𝑇𝑦 − 0)

= 𝑋𝑇𝑋𝜃 − 𝑋𝑇𝑦

令𝜕𝐽(𝜃) 𝜕𝜃
= 0,
则有𝜃 = (𝑋𝑇𝑋)−1𝑋𝑇𝑦

这就是正规方程的推导过程。

代码实现思路，首先，要写一个输入函数用来输入特征和目标变量，并且求出回归系数。一开始输入的目标变量是m列的数组，所以需要转置成m行的列向量。然后直接用结论求出回归系数，不过先要判断一下矩阵是否可逆（行列式是否为0）。然后在设立一个预测函数，输入训练集并输出预测结果。这里的特征和训练集都要加上一列1，因为把x0变成1，成为一个常数项，才能进行矩阵运算。

import numpy as np
import matplotlib.pyplot as plt

class leastsquared(object):
    def __init__(self):
        self.ws = []
    def fit(self,x_test,y_test):
        '''x_test:样本数据
            y_test:对应的应变量
            ws:回归系数'''
        self.x_test = x_test
        self.y_test = y_test
        xMat = np.mat(x_test)
        yMat = np.mat(y_test).T
        #矩阵乘法条件：左矩阵的列数等于右矩阵的行数
        xTx = xMat.T*xMat
        #判断xTx是否可逆，条件是矩阵行列式不为0
        # linalg.det()函数用来求矩阵行列式
        if np.linalg.det(xTx) == 0.0:
            print('矩阵为奇异矩阵')
        self.ws = xTx.I*(xMat.T*yMat)
        return self.ws
    def predict(self,x_train):
        #将数组转换成矩阵
        xMat = np.mat(x_train)
        #求出预测结果
        y_predict = xMat*self.ws
        return y_predict