优化求解记录

这篇博客会记录一些常用的优化求解的算法，包括讲解比较清晰的博客和一些自己的理解：

坐标下降法：
固定其他维度的坐标，对某一个维度沿着该维度的坐标轴进行进行下降，知道找到最值
http://blog.sina.com.cn/s/blog_a491b73e0102uwg9.html

下面的网站有对下面几个方法的比较：
http://www.cnblogs.com/maybe2030/p/4751804.html
http://blog.csdn.net/majinlei121/article/details/47260917
http://seat.massey.ac.nz/personal/s.r.marsland/MLBook.html

牛顿法（拟牛顿法）优化求解极值：
http://blog.csdn.net/luoleicn/article/details/6527049
http://tutorial.math.lamar.edu/Classes/CalcI/NewtonsMethod.aspx
其中涉及到的hessian矩阵：
http://baike.baidu.com/link?url=KJ3plmMCuZknDkLc0Hqp8hI9O55QJwSaWqwRavPT3jj9e0SsWvig5ZSn87twUElS6zHty6xQYeIPO2xZNnYnfa

梯度下降法，随机梯度下降法
拉格朗日对偶

Levenberg-Marquardt最优化算法（非线性最小二乘）
http://blog.sina.com.cn/s/blog_4a8e595e01014tvb.html
https://zh.wikipedia.org/wiki/%E8%8E%B1%E6%96%87%E8%B4%9D%E6%A0%BC%EF%BC%8D%E9%A9%AC%E5%A4%B8%E7%89%B9%E6%96%B9%E6%B3%95

open source optimization ：
http://ceres-solver.org/index.html