吴恩达——机器学习（正规方程）

   之前学习了一般的梯度下降法，今天听了吴教授的另外一种方法——正规方程法（区别于迭代法的直接求解法）

首先，直接解释一下什么叫做正规方程法：

                    

如上图显示的预测房价的模型，现实有四个特征值，额外加了x0这个特征值，构成矩阵，接着根据线性代数求解的方法可以直接代入式子：

                                               

进行求解，其实有个疑惑就是对于矩阵不可逆的 情况，其实很简单，对于特征类似的特征可以进行删除，就跟线性代数不可逆的解决方法一样。

接下来简要比较一下梯度下降法与正规方程法的优缺点：

首先说梯度下降法，梯度下降法需要进行迭代，花费时间，此外梯度下降法需要进行特征缩放，而正规方程法并不需要。只需要将特征矩阵代入式子进行计算。

然后我们再来谈一谈这个正规方程法：直接代式子确实简单方便，但是最大的缺点在于当特征量太多的时候，计算机的计算任务比较繁杂，还是需要依靠梯度下降法，一般以一万为临界吧，但是也不是绝对的。此外，对于比较复杂的算法，如SVM、神经网络还是不太适用正规方程法。