Normal Equations (正规方程)
书接上文,想要计算代价函数中 θ \theta θ的值,可以用正规方程的方法来解。这里推导过程就不展开了,有兴趣的可以移步 正规方程推导。
这里直接给出公式:
θ = ( X T X ) − 1 X T y \theta = (X^TX)^{-1}X^Ty θ=(XTX)−1XTy
从公式可以看出,相较于梯度下降法,正规方程不需要选择学习率,不需要迭代计算 θ \theta θ,甚至不需要特征缩放。
在给出python代码前,强调一下正规方程的适用范围。
- 当模型有冗余特征(特征线性相关)或 特征过多,样本过少时,项 ( X T X ) − 1 (X^TX)^{-1} (XTX)−1会不可逆,既无法计算。(可以用筛选样本,正则化的方法解决这个问题)
- 因为需要计算 ( X T X ) − 1 (X^TX)^{-1} (XTX)−1,当特征很多的时候算法会很慢。(根据吴恩达老师的说法,现代的电脑都可以处理1000个特征以下的简单模型没什么压力,除非你的模型非常复杂。如果特征过多或模型过于复杂,可以使用梯度下降法)
Python 实现代码如下:
# 正规方程
import matplotlib.pyplot as plt
import numpy as np
# P = np.loadtxt("PV.csv", delimiter=",")
# y = 3x - 2k + 7z - 3
# X = np.array([[1,1,1,1],[2,1,2,1],[3,0,1,1],[0,1,2,1]])
# Y = np.array([[5],[15],[13],[9]])
# y = 2x + 4k + 7
# X = np.array([[1,1,1],[2,3,1],[4,2,1],[3,3,1],[2,2,1]])
# Y = np.array([[13],[23],[23],[25],[19]])
# y = -13 x + 9
X = np.array([[1,1],[0,1],[-1,1],[2,1]])
Y = np.array([[-4],[9],[22],[-17]])
theta = np.linalg.inv(X.T@X)@X.T@Y
print (theta)
以上。