最优化算法之共轭梯度算法学习笔记

       学习共轭梯度算法，最好是在了解了梯度下降和（拟）牛顿法之后，再学习，省事而且三种方法对比记忆，效果会更好，废话不多说，进入正题。

   链接抛上:

•  梯度下降算法原理及其在线性回归中的应用 
• 最优化算法之牛顿和拟牛顿算法学习

       对于共轭梯度算法的学习，也是讲究基础性的学习，包括共轭的概念，共轭梯度的思想，以及推到等，网上资源很多，我找了一个非常好的讲解，参考：最优化学习笔记（四）共轭梯度方法  

作为一个总结，我把主要的公式进行了一个总结，非初学者直接参考公式： 

最后，关键的matlab代码实现，主要参考的是：Matlab实现FR共轭梯度算法