数值求解
MTandHJ
这个作者很懒,什么都没留下…
展开
-
ADAM : A METHOD FOR STOCHASTIC OPTIMIZATION
文章目录概主要内容算法选择合适的参数一些别的优化算法AdaMax理论代码Kingma D P, Ba J. Adam: A Method for Stochastic Optimization[J]. arXiv: Learning, 2014.@article{kingma2014adam:,title={Adam: A Method for Stochastic Optimization},author={Kingma, Diederik P and Ba, Jimmy},journal=原创 2020-06-04 21:59:59 · 2608 阅读 · 0 评论 -
Differential Evolution: A Survey of the State-of-the-Art
文章目录概主要内容DE/rand/1/binDE/?/?/?DE/rand/1/expDE/best/1DE/best/2DE/rand/2超参数的选择FFF的选择NPNPNP的选择CrCrCr的选择一些连续变体ABCDEG一些缺点代码Das S, Suganthan P N. Differential Evolution: A Survey of the State-of-the-Art[J...原创 2020-04-13 23:46:18 · 422 阅读 · 0 评论 -
Adaptive gradient descent without descent
文章目录概主要内容算法1 AdGD定理1 ADGD-L算法2定理2算法3 ADGD-accel算法4 Adaptive SGD定理4代码Malitsky Y, Mishchenko K. Adaptive gradient descent without descent[J]. arXiv: Optimization and Control, 2019.概本文提出了一种自适应步长的梯度下...原创 2020-03-26 23:03:05 · 546 阅读 · 0 评论 -
Proximal Algorithms 3 Interpretation
文章目录Moreau-Yosida regularization与次梯度的联系 $\mathbf{prox}_{\lambda f} = (I + \lambda \partial f)^{-1}$改进的梯度路径信赖域问题Proximal Algorithms这一节,作者总结了一些关于proximal的一些直观解释Moreau-Yosida regularization内部卷积(in...翻译 2019-06-08 22:51:30 · 250 阅读 · 0 评论 -
Proximal Algorithms 4 Algorithms
文章目录Proximal minimizationProximal Algorithms这一节介绍了一些利用proximal的算法.Proximal minimization这个相当的简单, 之前也提过,就是一个依赖不动点的迭代方法:有些时候λ\lambdaλ不是固定的:xk+1:=proxλkf(xk),∑k=1∞λk=∞x^{k+1} := \mathbf{prox}_{\...翻译 2019-06-09 21:04:48 · 344 阅读 · 0 评论 -
Proximal Algorithms 1 介绍
文章目录定义解释图形解释梯度解释一个简单的例子Proximal Algorithms定义令f:Rn→R∪{+∞}f: \mathrm{R}^n \rightarrow \mathrm{R} \cup \{+ \infty \}f:Rn→R∪{+∞}为闭的凸函数,即其上镜图:epif={(x,t)∈Rn×R∣f(x)≤t}\mathbf{epi} f = \{ (x, t) \in \...翻译 2019-06-03 18:39:50 · 807 阅读 · 0 评论 -
Proximal Algorithms 7 Examples and Applications
文章目录LASSOproximal gradient methodADMM矩阵分解ADMM算法本节介绍一些例子.LASSO考虑如下问题:min(1/2)∥Ax−b∥22+γ∥x∥1,\min \quad (1/2)\|Ax-b\|_2^2 + \gamma\|x\|_1,min(1/2)∥Ax−b∥22+γ∥x∥1,其中x∈Rn,A∈Rm×nx \in \mathbb{R}^n...翻译 2019-06-20 10:02:39 · 185 阅读 · 0 评论 -
Proximal Algorithms 5 Parallel and Distributed Algorithms
文章目录问题的结构consensus更为一般的情况Exchange 问题Global exchangeProximal Algorithms这一节,介绍并行算法的实现.问题的结构令[n]={1,…,n}[n] = \{1, \ldots, n\}[n]={1,…,n}. 给定c⊆[n]c \subseteq [n]c⊆[n], 让xc∈R∣c∣x_c \in \mathbb{R}^{|...翻译 2019-06-11 09:56:03 · 239 阅读 · 0 评论 -
Proximal Algorithms 6 Evaluating Proximal Operators
文章目录一般方法二次函数平滑函数标量函数一般的标量函数Proximal Algorithms需要注意的一点是,本节所介绍的例子可以通过第二节的性质进行延展.一般方法一般情况下proximal需要解决下面的问题:其中x∈Rnx \in \mathbb{R}^nx∈Rn, C=domf\mathcal{C} = \mathbf{dom} fC=domf.我们可以使用梯度方法(或次梯度...翻译 2019-06-18 10:26:47 · 416 阅读 · 0 评论 -
Proximal Algorithms 2 Properties
文章目录可分和基本的运算可分和如果fff可分为俩个变量:f(x,y)=φ(x)+ψ(y)f(x, y)=\varphi(x) + \psi(y)f(x,y)=φ(x)+ψ(y), 于是:如果fff是完全可分的,即f(x)=∑i=1nfi(xi)f(x) = \sum_{i=1}^n f_i (x_i)f(x)=∑i=1nfi(xi):(proxf(v))i=proxfi(vi)(...翻译 2019-06-08 12:08:57 · 263 阅读 · 0 评论 -
数值解Index
文章目录综述性文章下降方法与梯度下降最速下降方法和Newton方法等式约束优化(可行点)subgradients一些矩阵范数的subgradients线性方程组求解综述性文章在梯度方面,有一篇综述性的文章:An overview of gradient descent optimization algorithms下降方法与梯度下降Here给出了精确直线搜索和回溯直线收缩的概念及其...翻译 2019-05-24 10:53:48 · 270 阅读 · 0 评论 -
最速下降方法与Newton方法
文章目录最速下降方法Euclid范数和二次范数Euclid范数二次范数基于坐标变换的解释采用$\ell_1$-范数的最速下降方向数值试验Newton 方法Newton 步径二阶近似的最优解线性化最优性条件的解Newton 步径的仿射不变性Newton 减量Newton 方法收敛性分析数值实验代码《Convex Optimization》最速下降方法f(x+v)f(x+v)f(x+v)在v...翻译 2019-03-18 18:56:52 · 4683 阅读 · 2 评论 -
等式约束优化(可行点)
文章目录策略一 消除等式约束之前,讲的下降方法以及Newton方法都是在无约束条件的前提下的。这里讨论的是在等式约束(线性方程)的前提下讨论的。我们研究的是下面的凸优化问题:minimizef(x)s.t.Ax=b\begin{array}{ll}minimize & f(x) \\s.t. & Ax=b\end{array}minimizes.t....转载 2019-03-29 16:49:15 · 2081 阅读 · 0 评论 -
subgradient
文章目录定义上镜图解释《Subgradients》Subderivate-wikiSubgradient method-wiki《Subgradient method》定义我们称g∈Rng \in \mathbb{R}^ng∈Rn是f:Rn→Rf:\mathbb{R}^{n} \rightarrow \mathbb{R}f:Rn→R在x∈domfx\in domfx∈domf的次梯...翻译 2019-04-11 15:46:58 · 1194 阅读 · 0 评论 -
一些矩阵范数的subgradients
文章目录引正交不变范数定理1定理2例子:谱范数例子:核范数《Subgradients》Subderivate-wikiSubgradient method-wiki《Subgradient method》Subgradient-Prof.S.Boyd,EE364b,StanfordUniversity《Characterization of the Subdifferential o...翻译 2019-04-12 16:06:03 · 837 阅读 · 1 评论 -
线性方程组求解
文章目录容易求解的线性方程组对角矩阵下三角矩阵上三角矩阵正交矩阵排列矩阵因式分解求解方法代码《Convex Optimization》数值解这么走下去,却不好好弄弄关于线性方程组的求解,总感觉很别扭,既然《凸优化》也很详细地介绍了这一块东西,我就先跳过别的把这一块整一整吧。容易求解的线性方程组先讨论Ax=bAx = bAx=b很容易求解的情况,即AAA为满秩的方阵,方程有唯一的解。对...转载 2019-04-17 21:08:27 · 4833 阅读 · 0 评论 -
Momentum and NAG
文章目录MomentumNesterov accelerated gradientMomentumNesterov accelerated gradient比Momentum更快:揭开Nesterov Accelerated Gradient的真面目翻译 2019-05-19 11:26:40 · 330 阅读 · 0 评论 -
Least Angle Regression
文章目录引一些基本的假设LARS算法算法代码Efron B, Hastie T, Johnstone I M, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407-499.引在回归分析中,我们常常需要选取部分特征,而不是全都要,所以有前向法,后退法之类的,再根据一些指标设置停止准则。作者提出了一...翻译 2019-05-23 11:34:08 · 358 阅读 · 4 评论 -
ADADELTA: AN ADAPTIVE LEARNING RATE METHOD
文章目录引主要内容算法ADADELTA 代码引这篇论文比较短,先看了这篇,本来应该先把ADAGRAD看了的。普通的基于梯度下降的方法,普遍依赖于步长,起始点的选择,所以,受ADAGRAD的启发,作者提出了一种ADADELTA的方法。Δxt=−RMS[Δx]t−1RMS[g]tgt\Delta x_t = -\frac{\mathrm{RMS}[\Delta x]_{t-1}}{\ma...翻译 2019-05-24 10:53:04 · 385 阅读 · 0 评论 -
下降方法与梯度下降
文章目录预备知识下降方法精确直线搜索收敛性分析回溯直线搜索收敛性分析《Convex Optimization》在介绍下降方法之前,我们需要先看一些预备的知识。预备知识我们假设目标函数在下水平集SSS上是强凸的,这是指存在m>0m > 0m>0,使得∇2f(x)⪰mI\nabla^2 f(x) \succeq mI∇2f(x)⪰mI对于任意xxx...翻译 2019-03-16 11:59:18 · 488 阅读 · 0 评论