优化算法
青山白云间
这个作者很懒,什么都没留下…
展开
-
PPT: 无约束最优化方法
原创 2021-03-29 22:16:22 · 136 阅读 · 0 评论 -
Mirror Descent 算法(Matlab实现)
Mirror Descent 算法(Matlab实现)主要参考 Mirror descent: 统一框架下的first order methods普通情况下的Mirror Descent算法function x = MirrorDescent(x, lr, gradient, Lipschitz, BregmanDiv, BreDivFun)% f是可微的,且导数L李普希茨连续% x:优化参数% lr: 学习率% gradient:梯度(或者次梯度)% Lipschitz:李普希茨连原创 2020-07-10 22:21:59 · 830 阅读 · 0 评论 -
Mirror Descent
Mirror Descent翻译自 Bregman Divergence and Mirror Descent文章目录Mirror Descent1 组合目标函数2 在线学习3 随机优化次梯度下降的收敛速度通常取决于问题的维数。假设求函数fff在CCC上的最小值,那么次梯度下降(subgradient descent)为xk+12=xk−αkgk,gk∈∂f(xk)xk+1=arg minx∈C12∥x−xk+12∥2=arg minx∈C12∥x−(xk−αkgk)∥2.(20)\beg原创 2020-07-10 22:10:59 · 1643 阅读 · 1 评论 -
Bregman Divergence
Bregman Divergence翻译自 Bregman Divergence and Mirror Descent动机将欧几里得距离的平方概括为一类距离,这些距离都具有相似的性质。在机器学习、聚类、指数族等方面有很多应用。定义1(Bregman divergence) 函数ψ:Ω→R\psi : \Omega \rightarrow \realsψ:Ω→R满足:a). 严凸b). 连续可微c). 定义在一个封闭的凸集Ω\OmegaΩ上。那么Bregman散度可以定义为:Div原创 2020-07-10 22:07:16 · 1110 阅读 · 0 评论 -
SOBOLEV梯度
SOBOLEV GRADIENT翻译自 Application of Sobolev Gradient Method to Solve Klein Gordon Equation实值C1C^1C1函数FFF在Rn\reals^nRn上的梯度∇F\nabla F∇F,其中nnn为正整数,由下式给出:limt→01t(F(x+th)−F(x))=F′(x)h=<h,∇F(x)>Rnx,h∈Rn.(1)\lim_{t \rightarrow 0} \frac{1}{t} \left( F原创 2020-07-10 22:04:56 · 567 阅读 · 0 评论