《machine learning》week 2，class 3

Andrew Ng 《machine learning》——week 2，class 3

Computing Parameters Analytically

目前为止， 我们讨论求θ的最优值都是通过梯度下降的方法来求，接下来将讨论另外一种求θ最优值的算法——正规方程法

---

目录

3.1 Normal Equation

学过微积分的同学应该知道怎么求解下面这个函数的最小值。

其实就是求导，然后让导数等于0就可以解出最小值啦~~~

那么对于多元多次的方程怎么解呢？那就是接下来说的正规方程的解法啦。例如：

但是针对不用的问题采用的方法也会有不同，下面是梯度下降和正规方程的优缺点对比。

主要的就是大数量的多少，数据量大的时候还是选择用梯度下降会比较好，性能也会好一些。

3.2 Normal Equation Noninvertibility

什么是矩阵不可逆，这个概念学过线代的同学都知道，因此不再赘述。这里指的是下图所示情况：

对于出现这种不可逆的情况的时候，Octave会用pinv求出伪逆，这样也不会影响算法的计算流程。一般是很少出现不可逆的情况的，所以不必要太关注。