最优化方法
铭霏
这个作者很懒,什么都没留下…
展开
-
一文看懂各种神经网络优化算法:从梯度下降到Adam方法
https://zhuanlan.zhihu.com/p/27449596转载 2019-02-14 16:32:03 · 683 阅读 · 0 评论 -
基于矩阵分解的推荐算法
摘自:https://www.cnblogs.com/bonelee/p/7126144.html一,基于矩阵分解的推荐算法相关理论介绍 我们知道,要做推荐系统,最基本的一个数据就是,用户-物品的评分矩阵,如下图1所示 图1 矩阵中,描述了5个用户(U1,U2,U3,U4 ,U5)对4个物品(D1,D2,D3,D4)的评分(1-5分),- 表示没有评分,...转载 2018-09-12 23:54:09 · 2579 阅读 · 0 评论 -
牛顿法与拟牛顿法学习笔记(五)L-BFGS 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3转载 2016-01-17 23:13:55 · 961 阅读 · 1 评论 -
牛顿法与拟牛顿法学习笔记(四)BFGS 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3转载 2016-01-17 23:13:28 · 567 阅读 · 0 评论 -
牛顿法与拟牛顿法学习笔记(三)DFP 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3转载 2016-01-17 23:12:51 · 1226 阅读 · 1 评论 -
牛顿法与拟牛顿法学习笔记(二)拟牛顿条件
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3转载 2016-01-17 23:12:17 · 967 阅读 · 1 评论 -
牛顿法与拟牛顿法学习笔记(一)牛顿法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3转载 2016-01-17 23:11:25 · 880 阅读 · 1 评论 -
最速下降法 牛顿法 共轭梯度法
最速下降:实在没什么好说的,,until共轭梯度:区别在于方向限制在初始点的共轭方向空间内随机梯度:相对上面两者每次用所有样本计算下降方向,每次随机选1个或batch个样本牛顿法:二阶Talor展开,方向pseudo-Newton (BFGS为例):,,(未完,待补充整理)原创 2016-01-16 23:16:46 · 1262 阅读 · 1 评论 -
Adam那么棒,为什么还对SGD念念不忘
https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg转载 2019-02-14 16:52:05 · 656 阅读 · 0 评论