05.正规方程算法

正规方程算法的主要内容

1. 正规方程法的介绍
2. 正规方程的公式和具体推导过程
3. 正规方程在矩阵不可逆情况下的解决方法
4. 正规方程算法与梯度下降算法的比较

一、正规方程法的介绍

• 正规方程：通过导数值为零的点为原函数最小值（不考虑最大值）这一原理从而直接找到代价损失函数J(θ)的最小值，从而确定θ；

• 正规方程法是一种不需要迭代，用正规方程一次就能求出最小的θ，选定学习率，均值归一化的方法。它其实是将使损失函数最小的过程转化为矩阵计算。

• 使用正规方程不需要考虑特征缩放，这是一大优点

二、正规方程的公式和具体推导过程

• 公式：

  

  • 公式说明：X为特征值矩阵，y为目标值矩阵

• 证明过程如下：
  

三、正规方程在矩阵不可逆情况下的解决方法

• 有些时候
  会没有逆矩阵，主要是以下两种情况：

  • 有些特征线性相关（两个或者多个意思的特征呈线性关系），那么删去多出的特征指保留一个即可。

  • 特征量过多，当样本量较小是，无法计算出那木多个偏导来求出结果，删去不太重要的特征或者使用正则化。

• Octave 中的pinv 即使面对不可逆矩阵，也能计算出结果，得出来的是伪矩阵

四、正规方程算法与梯度下降算法的比较

	梯度下降算法	正规方程算法
学习率α	需要选择	不需要
迭代次数	需要很多次	一次到位，不用考虑迭代次数
特征缩放	需要考虑	不需要
数据量大时	当数据上万时，表现较好	(XTX)-1使得时间复杂度为O(n3)，万以下的数据现代计算机还是能很快得出结果

• 具体的选择方法： 对于上万级别的数据量，我们要考量两者了，看是否选择梯度下降法，而万以下的数据量，基于正规方程算法众多的优点，毫无疑问选择正规函数