【优化】
文章平均质量分 92
lansatiankong
这个作者很懒,什么都没留下…
展开
-
优化方法介绍一
优化方法介绍一梯度下降变种批梯度下降(Batch gradient descent)基本都是参考文献1梯度下降变种有三种梯度下降变种,区别在于使用多少训练数据批梯度下降(Batch gradient descent)使用整个数据进行计算Vanilla gradient descent, aka batch gradient descentθ=θ−η∗∇J(θ)\theta=\theta-\eta *\nabla J(\theta)θ=θ−η∗∇J(θ)for i in range(nb_原创 2021-03-16 20:34:43 · 250 阅读 · 0 评论 -
LBFGS公式推导
LBFGS 公式推导原创 2014-08-24 22:41:13 · 2991 阅读 · 5 评论 -
矩阵求导——Numerator Layout & Denominator Layout
突然想起这个问题了,刚刚看到有人在问相关的公式,自己闷头想了想居然都忘了,于是乎稍微整理一下供以后参考。 其实,关于矩阵求导讲的最详细的还是wiki上的页面面http://en.wikipedia.org/wiki/Matrix_calculus#Layout_conventions 关于矩阵求导,很多地方会有不同的表现形式,说到底是这么一回事,一个m维的向量y\mathbf{y}对n维的向量x原创 2015-04-11 09:24:00 · 11693 阅读 · 0 评论 -
无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS
好久没写博客了,今天打开一看csdn终于可以用latex,不用到处去粘贴标签,方便了许多。且先试试效果如何。先讲讲一些优化方法。最速下降法牛顿法拟牛顿法SR1BFGSDFPLBFGS【最速下降法】无约束最优化方法不涉及约束条件,所以都是介绍如何寻找搜索方向以及搜索步长。 无约束最优化问题的目标函数: minx∈Rnf(x)\min_{x\in R^n}\q原创 2015-05-20 17:44:32 · 9955 阅读 · 3 评论 -
优化中的subgradient方法
哎,刚刚submit上paper比较心虚啊,无心学习,还是好好码码文字吧。 subgradient中文名叫次梯度,和梯度一样,完全可以多放梯度使用,至于为什么叫子梯度,是因为有一些凸函数是不可导的,没法用梯度,所以subgradient就在这里使用了。注意到,子梯度也是求解凸函数的,只是凸函数不是处处可导。f:X→Rf: \mathcal{X}\rightarrow \mathbb{R}是一个凸函原创 2015-06-06 11:03:15 · 18522 阅读 · 0 评论 -
EM算法原理详解与高斯混合模型
借助于machine learning cs229和文章【1】中的内容把EM算法的过程顺一遍,加深一下印象。 关于EM公式的推导,一般会有两个证明,一个是利用Jesen不等式,另一个是将其分解成KL距离和L函数,本质是类似的。下面介绍Jensen EM的整个推导过程。Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,f′′(x)≥0f^{''}(x)\g原创 2015-05-11 18:35:03 · 6881 阅读 · 3 评论