![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
最优化方法
u011862114
这个作者很懒,什么都没留下…
展开
-
Meta-SGD在跟踪领域的应用:Meta-Tracker
优化算法三要素:初始化,学习率,更新方向。传统方法是手工设定这些参数,而Meta-SGD则设计算法端到端地学习这些参数。从上图的结果可以看出,利用meta-sgd中提到的方法来改进CREST之后,仅使用一次迭代就达到较好的效果,模型能够快速适应新任务,这也说明了meta-sgd学习到了比较好的初始化参数、学习率与参数的更新方向。...原创 2018-06-14 17:07:19 · 1516 阅读 · 0 评论 -
关于梯度下降法及它的一些变形
一.讨论无约束优化问题:最速下降法求解无约束优化问题最简单和古老的方法之一。虽然如今它有很多缺陷,但却是研究其他约束优化算法的基础。用不同的方式确定搜索方向或搜索步长,会得到不同的算法。最速下降法是用负梯度方向作为搜索方向,因此也称为梯度法。为什么选择梯度下降法?事实上负梯度方向并不是一个好的下降方向,需要很多步骤才能收敛,用其它高阶的算法能够在更少的步骤收敛。但它的优点是简单,不需要计算高阶导数...原创 2018-06-01 08:51:09 · 960 阅读 · 0 评论