正规方程（区别于迭代方法的直接解法）

 

为了求出最优解θ，假如θ是个实数，我们可以求导，令倒数等于0得到θ。

但是这里θ是一个N维向量，我们可以运用微积分的知识，分别对θ1.2.3.求偏导数令其为0得到。

但是本节我们运用正规方程一步求出θ。

正规方程求解：

上图出现错误应该将x的上下限交换：

牢记结果：

 

梯度下降法与正规方程比较的优缺点：

1. 正规方程，可以一步得到回归问题的最优解。
2. 牢记正规方程 θ=(X'X)^{-1}X'y，可使θ最优化。
3. 正规方程不需要进行特征缩放。
4. 正规方程需要计算矩阵(X'X)^{-1}，其纬度是nxn，它的计算复杂度是O(n^3)。当n<=10000时，用正规方程计算是合适的，超过一万，计算机计算就会很慢。
5. 梯度下降法适用于百万级别的特征数量。

 

从上面我们可以利用正规方程求解θ，但是我们可以发现求解公式中要求x的转置乘以x的逆，我们疑惑如果不可逆的话，将怎么求解。

1. X'X不可逆的情况其实很少发生
2. 数值计算。pinv伪逆，inv逆。无论可不可逆我们都可以运用pinv伪逆，来求出正确结果。
3. 出现矩阵不可逆的情况：
a) 多余的特征参数。造成线性相关。
b) 太多的特征参数，相对的，样本过少 m<=n。删除过多的特征参数，或正规化处理。

所有在发现不可逆的情况下，我们首先看是否存在线性相关的不同特征值，我们将多余的删除。再就是看看是不是相对于训练集而言，特征值太多。