吴恩达机器学习（十二）正规方程在矩阵不可逆的情况下的解决方法

正规方程以及不可逆性
  当计算θ = （X^TX）^-1X^Ty 的时候，如果矩阵X^TX不可逆怎么办？
  X^TX不可逆的问题其实很少发生，在Octave中，如果使用pinv(X’*X)*X’*y来计算θ，实际上会得到正解，即使X^TX是不可逆的。

X^TX不可逆的常见原因：

1. 如果由于某些原因，你的学习问题包含了多余的特征，如两个特征线性相关，这样的话矩阵X^TX将是不可逆的。这种情况下可以删除其中多余的特征。
2. 在运行的学习算法有很多特征，具体地说，在m小于或等于n的时候。这种情况下我们会看能否删除某些特征或者使用一种叫做正则化的方法。