排序:
默认
按更新时间
按访问量
RSS订阅

梯度下降算法小结

梯度下降一类算法小结 标签(空格分隔): 梯度下降 以下内容为*An overview of gradient descent optimization algorithms*读后笔记 梯度下降算法变种 算法概览 最经典的梯度下降算法有:1.梯度下降(Batch gradi...

2018-07-07 18:48:32

阅读数:116

评论数:1

SVRG&Lissa&NewSamp实现

SVRG, NewSamp & Lissa 实现 具体实现参见Github,算法分析可以参我的一篇二阶算法博客 SVRG, NewSamp & Lissa 这是基于python实现的SVRG,...

2018-07-07 18:48:18

阅读数:152

评论数:2

二阶随机优化算法小结

二阶随机优化算法 标签(空格分隔): L-BFGS NewSample Lissa 最近看了几篇二阶优化算法,现在总结一下,以便日后查阅 二阶算法 二阶优化算法又称为牛顿法,牛顿法是微积分学中, 通过迭代以求解可微函数f的零点的一种算法,而在最优化中,牛顿法通常被运用于求解一个二...

2018-07-07 18:48:10

阅读数:788

评论数:0

牛顿法及拟牛顿法笔记

牛顿法 二阶优化算法又称为牛顿法,牛顿法是微积分学中, 通过迭代以求解可微函数f的零点的一种算法,而在最优化中,牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x, 同时也是f的驻点。 因此从另一个角度而言,应用于最优化中的牛顿法是求解函数 f(x)的最小值或最大值的一种算法。...

2018-07-07 18:47:58

阅读数:66

评论数:0

线性收敛的随机L-BFGS算法

线性收敛的随机L-BFGS算法 以下皆为翻译A Linearly-Convergent Stochastic L-BFGS Algorithm 原文链接 六级没过,莫怪 概要 我们提出了一个新的随机L-BFGS算法,并证明其对强凸连续函数可以达到线性收敛.我们的算法很大程度上基于最近在...

2018-04-27 21:28:38

阅读数:129

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭