Normal Equation 简介

1. 什么是Normal Equation 

       在线性回归中，为了求得代价函数最小时的参数值θ。我们一般采用梯度下降法，但是当训练样本较小时（不超过千数量级）采用“Normal Equation”进行求解更好。“Normal Equation”一般翻译成正规方程或者标准方程，其表达式如下：

       推导过程如下：

         其中，用到了矩阵求导一些性质（http://blog.csdn.net/u012354244/article/details/46655709）。

2. Normal Equation的优缺点

         与梯度下降相比，Normal Equation的优缺点如下。

         优点：Normal Equation不需要设置learning rate；不需要多次迭代，一次性就可求解；不需要做特征收缩处理。

         缺点：仅适用于训练集较小的情况；存在奇异阵导致无法求解，需要进一步处理成非奇异阵才可求解（通过删除共线的特征等方法）。