- 博客(5)
- 收藏
- 关注
RSS订阅原创 梯度下降算法小结
梯度下降一类算法小结标签（空格分隔）： 梯度下降以下内容为*An overview of gradient descent optimization algorithms*读后笔记梯度下降算法变种算法概览最经典的梯度下降算法有:1.梯度下降(Batch gradient descent) 2. 随机梯度下降(Batch gradient descent) 3. m...
2018-07-07 18:48:32
652
原创 SVRG&Lissa&NewSamp实现
SVRG, NewSamp & Lissa 实现具体实现参见Github,算法分析可以参我的一篇二阶算法博客SVRG, NewSamp & Lissa这是基于python实现的SVRG, NewSamp, Lissa的baseline数据集采用的是Mnist49(手写数据集中的4和9)SVRG算法分析SVRG（Stochastic Varia...
2018-07-07 18:48:18
2402
4
原创 二阶随机优化算法小结
二阶随机优化算法标签（空格分隔）： L-BFGS NewSample Lissa最近看了几篇二阶优化算法，现在总结一下，以便日后查阅二阶算法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法...
2018-07-07 18:48:10
8929
原创 牛顿法及拟牛顿法笔记
牛顿法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法是求解函数 f(x)的最小值或最大值的一种算法。考虑无约束最优化问题minx∈Rnf(x)minx∈Rnf(x) min _{x \in R...
2018-07-07 18:47:58
563
原创 矩阵微分
矩阵微分标签（空格分隔）： 矩阵微分在学习机器学习算法时,发现对矩阵求导很不熟悉,去看了张贤达的矩阵分析,发现标量对矩阵求导的问题说的很清楚 重要的事情说三遍 损失函数是标量函数!!! 损失函数是标量函数!!! 损失函数是标量函数!!!主要介绍实值函数相对于实向量变量或者矩阵变量的偏导.这里首先对变元和函数符号做统一的规定以便后面介绍. xx=[x1,...,xm]T∈R...
2018-07-07 18:47:44
1304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人