这篇博客会记录一些常用的优化求解的算法,包括讲解比较清晰的博客和一些自己的理解:
坐标下降法:
固定其他维度的坐标,对某一个维度沿着该维度的坐标轴进行进行下降,知道找到最值
http://blog.sina.com.cn/s/blog_a491b73e0102uwg9.html
下面的网站有对下面几个方法的比较:
http://www.cnblogs.com/maybe2030/p/4751804.html
http://blog.csdn.net/majinlei121/article/details/47260917
http://seat.massey.ac.nz/personal/s.r.marsland/MLBook.html
牛顿法(拟牛顿法)优化求解极值:
http://blog.csdn.net/luoleicn/article/details/6527049
http://tutorial.math.lamar.edu/Classes/CalcI/NewtonsMethod.aspx
其中涉及到的hessian矩阵:
http://baike.baidu.com/link?url=KJ3plmMCuZknDkLc0Hqp8hI9O55QJwSaWqwRavPT3jj9e0SsWvig5ZSn87twUElS6zHty6xQYeIPO2xZNnYnfa
梯度下降法,随机梯度下降法
拉格朗日对偶
Levenberg-Marquardt最优化算法(非线性最小二乘)
http://blog.sina.com.cn/s/blog_4a8e595e01014tvb.html
https://zh.wikipedia.org/wiki/%E8%8E%B1%E6%96%87%E8%B4%9D%E6%A0%BC%EF%BC%8D%E9%A9%AC%E5%A4%B8%E7%89%B9%E6%96%B9%E6%B3%95
open source optimization :
http://ceres-solver.org/index.html
优化求解记录
最新推荐文章于 2022-05-22 16:24:29 发布