机器学习（4）正规方程

正规方程

正规方程的介绍

梯度下降算法通过不断迭代调整θ值，使得损失函数J(θ)最终收敛，最终得到最佳匹配数据的函数。而正规方程法则是直接求出θ值。
1.直接法：
比较直接的是通过求偏导得到θ值。如下图：

这种方法很明显有很大的缺陷。适用于特征量比较少的问题，即变量θ比较少时，比较方便。但是在实际问题中，一个模型的特征量可能有几百，几万个，这时候求偏导就不方便了。
2.正规方程：
直接把变量θ看成实数，而正规方程则是通过向量来求解问题。举个例子：

构建两个 X,y的矩阵。而向量θ的求解公式为：

通过正规方程求解时，无需对特征量进行特征放缩。

梯度下降和正规方程的选择

梯度下降的优缺点：

缺点：
需要选择合适的学习率α。
需要迭代很多次，每次迭代都需要遍历整个样本集。
优点：
当特征量比较大，比如百万级时都能顺利求解。

正规方程的优缺点：

优点：
无需选择学习率α。
无需迭代。
缺点：
需要计算X的转置和X乘积的逆，当n比较大时，计算会很慢。

总结

当特征量在一万以下，建议使用特征方程法。高于这个量级根据配置酌情考虑。