吴恩达机器学习笔记—高级优化算法

求代价函数，我们需要计算代价函数的导数项和其收敛性。

梯度下降并不是求解的唯一方法，还有高级优化算法：共轭梯度法、BFGS、L_BFGS等

2、这些高级的算法，有一些共同的特征，不需要设定搜索步长，它能智能得得到一个合适的。并且计算收敛速率远大于梯度下降。

3、吴老师课堂表明了上述的三种高级算法是复杂的数值算法，不是数值方面的专家不建议自己写代码，直接用就可以。需要用到的时候可以上网找相应的例子。

看到一篇不错的博文，常见的几种优化方法的区别，讲得比较详细，有需要的可以去看看

https://www.cnblogs.com/shixiangwan/p/7532830.html

转载于:https://my.oschina.net/u/3767735/blog/1841080