最优化
Mr_Mike_Li
这个作者很懒,什么都没留下…
展开
-
关于梯度下降法、牛顿法、高斯-牛顿、LM方法的总结
线性最小二乘问题,我们可以通过理论推导可以得到其解析解,但是对于非线性最小二乘问题,则需要依赖迭代优化的方法,。 梯度下降主要是从一阶目标函数的一阶导推导而来的,形象点说,就是每次朝着当前梯度最大的方向收敛;二牛顿法是二阶收敛,每次考虑收敛方向的时候,还会考虑下一次的收敛的方向是否是最大(也就是梯度的梯度)。可以参考下图: 红线为牛顿法,绿线为梯度下降。高斯-牛顿和LM法则主要是针对非...原创 2018-03-15 00:20:40 · 16139 阅读 · 1 评论 -
关于 最小二乘的推导
看了网上一些博客,对于最小二乘的推导 讲的不是很清楚,,于是 翻出了老师之前的ppt 回顾一下,,,大概是下面这样子:后面会用到的证明:1.2.核心是 ii)推导过程:关于最小二乘的展开, 很多博客 上在这一步把合并了,,,私以为是不对的。求导时, 时对称阵,所以可以推导出来;求导以后,可以得到 。完整的过程是:带权重的最小二乘也可以用类似的方法推导出来。关于齐次方程的最小二乘,可以参考htt...原创 2018-03-11 18:03:33 · 471 阅读 · 0 评论 -
关于矩阵特征值的理解
好久没看矩阵相关的东西,,,都忘光了,,,,用运动来理解描述矩阵。如何理解矩阵特征值? - 马同学的回答 - 知乎https://www.zhihu.com/question/21874816/answer/181864044行列式是线性变换的伸缩因子行列式的本质是什么? - 马同学的回答 - 知乎https://www.zhihu.com/question/36966326/answer/162...转载 2018-03-11 22:36:23 · 2398 阅读 · 0 评论 -
闲话矩阵求导
http://xuehy.github.io/blog/2014/04/18/2014-04-18-matrixcalc/index.html转载 2018-03-18 16:28:42 · 1102 阅读 · 0 评论