【吴恩达机器学习】学习笔记1.3(Normal Equation& 与梯度下降比较)

Normal Equation(标准方程)

通过前面的学习,我们知道了能够通过梯度下降的方法求得我们的最优解,那还有没有其他方法呢?
回想我们原来的学习过程,如果我们已知一个二次函数,想求它的最小值,我们采用的方法就是对二次函数求导,找到导数为0的那个点,这就是Normal Equation的方法
在这里插入图片描述
如上图所示,我们得到一个关于变量的矩阵X,和一个输出的矩阵Y,利用
在这里插入图片描述
来求的我们的θ向量,关于这个式子怎么求得需要用到比较多的数学知识,只需理解记住即可。

与梯度函数比较

采用这种方法,我们不需要很多次的迭代,也不需要考虑如何选取我们的α,但是在求逆矩阵的那一步,需要的时间复杂度是O(n3n^3),而采用梯度下降是O(kn2kn^2),当我们的特征值很多时(一般超过10,000个)一般来说采用梯度下降的方法速度会更快,而且梯度下降在以后的更高级的机器学习算法中也会有很多的应用。

没有更多推荐了,返回首页