吴恩达机器学习——正规方程

        对于某些线性回归的问题，除了用梯度下降，也可以用正规方程的方法。如：

       对于上图，如果要求代价函数曲线的最低点，由高等数学的知识，可以令， 而当是向量时，可以令。假设我们的训练集特征矩阵为X（包含了），并且训练集结果为向量y，则利用正规方程解出向量。其中T代表矩阵的转置，上标-1代表矩阵的逆。

       以下数据为例：

       即：

       由正规方程的方法，有

 

        由于正规方程的求解过程涉及矩阵的逆运算，所以对于不可逆的矩阵，不能用正规方程的方法。

        梯度下降与正规方程的比较：

       这里面矩阵的逆运算的时间复杂度为主要是因为，设X为的矩阵，则的运算需要两个for循环嵌套，而求逆矩阵又需要一个for循环，所以时间复杂度为。

       总结：只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，通常使用标准方程法，而不使用梯度下降法。

 

参考资料：

吴恩达机器学习——Normal Equation

斯坦福大学2014（吴恩达）机器学习教程中文笔记——黄海广