1 什么是正规方程
大多数时候。我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。如:
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的: ∂ ∂ θ j J ( θ j ) = 0 \frac{\partial}{\partial \theta_{j}} J\left(\theta_{j}\right)=0 ∂θj∂J(θj)=0
假设我们的训练集特征矩阵为 X(包含了 x 0 = 1 \ x_0=1 x0=1)并且我们的训练集结果为向量 y \ y y,则利用正规方程解出向量 θ = ( X T X ) − 1 X T y \theta=\left(X^{T} X\right)^{-1} X^{T} y θ=(XTX