机器学习——正规方程

正规方程的基本介绍

之前我们使用梯度下降算法求代价函数J(θ)的最小值，而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值，如下

而正规方程则是另一种求解J(θ)最小值的方法，并且正规方程不需要通过迭代，而是一次性得到θ的最优值

正规方程的基本概念如下（省略证明过程，记住这个公式就行）

正规方程和梯度下降的对比 

• 梯度下降算法需要不断尝试不同的学习率α，直到选择到一个合适的值，这是一个额外的工作；而正规方程不需要选择学习率；
• 梯度下降算法是一个迭代算法，需要通过不断地迭代得到θ的最优值；正规方程不需要迭代，基本是一次性可以得到θ的最优值；
• 梯度下降算法在特征变量很多的情况下，也能运行的很好，哪怕有几百万个特征向量，但是正规方程需要进行矩阵的运算，所以当特征变量很多的时候，正规方程的计算速度不一定比梯度下降的迭代要快；
• 那么特征数量n多少算大呢？一般如果n超过一万，就考察使用梯度下降或其他算法，如果n在一万以内，可以使用正规方程；
• 对于线性回归这个特定的模型，正规方程法是一个比梯度下降算法更快的替代算法，但是正规方程不一定适用于其他的学习算法，而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法，具体的问题以及特征量的数量来进行最终选择；