正规方程法求解线性回归及正规方程法与梯度下降法的选择

正规方程法

公式：$h_{\theta }={\theta }^{T}x$，$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

问题：矩阵$X^{T}X$不可逆（奇异矩阵）的2种常见原因：

1、特征之间存在线性关系。如：$x_2=x_1\ast 3.14$，解决办法：删除一个。
2、样本数量m小于等于特征数量n。解决办法：正则化或者减少特征数量。

python

import pandas as pd
import random
import numpy as np
import matplotlib.pyplot as plt

def xita(data):
    y = np.matmul(data[['x0','x1','x2','x3','x4']].values.T,data[['x0','x1','x2','x3','x4']].values)
    i = np.matmul(np.matrix(y).I,data[['x0','x1','x2','x3','x4']].values.T)
    return np.matmul(i,data['y'].values.reshape(100,1))

vectors_set = []
for i in range(100):
    x0 = 1
    x1 = random.randint(1,10)
    x2 = random.randint(1,10)
    x3 = random.randint(1,10)
    x4 = random.randint(1,10)
    y = (0.6 + 0.3*x1 + 0.2*x2 + 0.5*x3 + 0.7*x4) + random.randint(-1,1)
    vectors_set.append([x0,x1,x2,x3,x4,y])
data = pd.DataFrame(vectors_set,columns=['x0','x1','x2','x3','x4','y'])

a = xita(data)
a

梯度下降法和正规方程法的选择

正规方程法的时间复杂度是$n^3$,当特征超过10000个以上时，建议选择梯度下降法求解，当特征小于10000时，建议选择正规方程法求解。