正规方程

目录

1.正规方程

2.该如何选择使用哪个方法，他们的优缺点是什么？

3.正规方程在不可逆情况下的解决办法

---

1.正规方程

使用正规方程求只需要一步就可以得到的最优值，那么现在假设训练样本集中的m=4，可以得到下面一个表格，

在这个表格中，最终我们得到用矩阵x和向量y来计算的方式

下面讲了当有m个训练样本时的情况，那么构建X即设计矩阵的方式如下

那么，在Octave中用这条语句来实现求最优化即pinv(X'*X)*X'*y，其中X'代表的是X的转置

2.该如何选择使用哪个方法，他们的优缺点是什么？

使用正规方程是不需要特征缩放的

假如你有m个训练样本和n个特征变量时，使用梯度下降算法要选择学习速率a，通常要运行很多次，尝试不同的学习速率a找到运行效果最好的那个

同时使用梯度下降算法需要很多次的迭代，可能会使计算速度很慢。

而对于正规方程来说，不需要选择学习速率，很方便而且容易实现。但是如果特征变量的数量n很大的话，那么计算量就很大，速度就会变慢，

所以如果当n很大时，使用梯度下降法会比较快，但如果n比较小，那么使用正规方程就会比较好。

如果n超过一万，那么使用正规方程可能就会变慢。

3.正规方程在不可逆情况下的解决办法

如果你的X'X是一个不可逆的矩阵，那么你首先需要看你的特征向量里面有没有多余的特征，例如这种X1和X2是线性相关的，或者互为线性函数，如果有多余的向量可以删除两者之一，将会解决不可逆的问题。如果没有多余的特征需要检查是否存在过多的特征向量，如果不影响可以删除少数特征，解决这个问题。