最优化
文章平均质量分 73
_Kevin_Duan_
这个作者很懒,什么都没留下…
展开
-
最优化学习笔记(二)——二分法
二分法是一种一维搜索方法。它讨论的是求解一元单值函数f:R→R在区间[a0,b0]f: \mathbb{R} \to \mathbb{R} 在区间[a_0, b_0]的极小点问题。同时要求函数ff在区间[a0,b0][a_0, b_0]上为单调函数,并且是连续可微的,这里将使用ff的一阶导数f′f'。 二分法的计算过程比较简单,它主要是利用一阶导数来连续压缩区间的方法。 1.确定初原创 2016-05-14 10:40:40 · 6688 阅读 · 0 评论 -
最优化学习笔记(十六)——拟牛顿法(2)
Hessian矩阵逆矩阵的近似一、拟牛顿法的基本思路 令H0,H1,H2,…\boldsymbol{H_0,H_1, H_2}, \dots表示Hessian矩阵逆矩阵F(x(k))−1\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件,这是拟牛顿法的基础。首先,假定目标函数ff的Hessian矩阵F(x原创 2017-01-01 11:36:45 · 1513 阅读 · 0 评论 -
最优化学习笔记(十四)——共轭梯度法
共轭梯度法不需要预先给定Q\boldsymbol{Q}共轭方向,而是随着迭代的进行不断产生Q\boldsymbol{Q}共轭方向。在每次的迭代中,利用上一个搜索方向和目标函数在当前迭代点的梯度向量 之间的线性组合构造一个新的方向,使其与前边已经产生的搜索方向组成Q\boldsymbol{Q}共轭方向。对于一个nn维二次型函数,沿着Q\boldsymbol{Q}共轭方向进行搜索,经过nn次迭代,即可得原创 2016-12-18 21:32:04 · 20292 阅读 · 0 评论 -
最优化学习笔记(十五)——拟牛顿法(1)
拟牛顿法分为五部分来讲,本文这部分作为引言,第二部分讲Hessian矩阵逆矩阵的近似,第三部分秩1修正公式,第四部分为DFP算法,最后BFGS算法。 牛顿法是一种具有较高实用性的优化问题的求解方法。牛顿法如果收敛,收敛阶数至少是2。但是,当目标函数为一般性的非线性函数时,牛顿法就不能保证从任意起始点x(0)\boldsymbol{x}^{(0)}收敛到函数的极小点。也就是说,如果初始点x(原创 2016-12-25 13:04:12 · 2510 阅读 · 0 评论 -
最优化学习笔记(十七)——拟牛顿法(3)
秩1修正公式 在秩1修正公式中,修正项为αkz(k)z(k)T,αk∈R,z(k)∈Rn\alpha_k\boldsymbol{z}^{(k)}\boldsymbol{z}^{(k)T}, \alpha_k \in \mathbb{R}, \boldsymbol{z}^{(k)} \in \mathbb{R}^n,是一个对称矩阵,近似矩阵的更新方程为: Hk+1=Hk+αkz(k)z(k)T原创 2017-01-08 14:43:52 · 2751 阅读 · 0 评论 -
最优化学习笔记(十八)——拟牛顿法(4)DFP算法
秩2算法可以保证在任意第kk步迭代下, 只要一维搜索是精确的,近似矩阵Hk\boldsymbol{H}_k就是正定的。DFP算法令k=0k=0,选择初始点x(0)\boldsymbol{x}^{(0)},任意选择一个堆成正定实矩阵H0\boldsymbol{H}_0。如果g(k)=0\boldsymbol{g}^{(k)} = \boldsymbol{0}, 停止迭代; 否则,令d(k)=−Hk原创 2017-01-15 11:21:27 · 6161 阅读 · 0 评论 -
Optimization inequalities cheatsheet
This article is from http://fa.bianp.net/blog/2017/optimization-inequalities-cheatsheet/, just record it.Most proofs in optimization consist in using inequalities for a particular function class in som转载 2017-01-17 12:55:03 · 502 阅读 · 0 评论 -
最优化学习笔记(十九)——拟牛顿法(5)BFGS算法
一、BFGS算法的更新公式 为了推导BFGS算法,需要用到对偶或者互补的概念,前边已经讨论过hessian矩阵逆矩阵的近似矩阵需要满足以下条件: Hk+1Δg(i)=Δx(i)0≤i≤k\boldsymbol{H}_{k+1} \Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} \quad 0 \le i\le k 这是根据Δ原创 2017-02-12 10:34:08 · 7943 阅读 · 0 评论 -
最优化学习笔记(二十)——全局搜索算法
一、引言 前边的博文我们讨论过一些迭代算法,包括梯度方法、牛顿法、共轭梯度法和拟牛顿法,能够从初始点出发,产生一个迭代序列,但是往往这些迭代序列只能收敛到局部极小点,而且这些迭代方法需要计算目标函数的一阶导数(牛顿法还需计算二阶导数)。从本节开始,讨论一些全局搜索算法,这些方法只需要计算目标函数值,而不需要对目标函数求导。二、Nelder-Mead 单纯形法(一) Nelder-Mea原创 2017-04-15 10:21:14 · 10998 阅读 · 0 评论 -
(论文阅读笔记1)Collaborative Metric Learning(二)(WWW2017)
三、协同度量学习 这一部分,我们讨论CML作为一种更自然的方法获得关联关系。CML的思路是这样的:我们在已知正例关系的user-item集合S\mathcal{S}上建立一个隐性反馈模型,并且学习user-item的距离作为他们的关系。学习到的距离使得S\mathcal{S}中的对更加紧密,而S\mathcal{S}之外的user-item对相对的远离。这个处理过程,源于三角不等性。也可以聚类原创 2017-08-20 17:33:02 · 1754 阅读 · 1 评论 -
最优化学习笔记(十三)——基本共轭方向算法(扩张子空间定理)
由上节我们得出的一个引理: 引理 在共轭方向算法中, 对于所有的k,0≤k≤n−1,0≤i≤kk,0≤k≤n−1,0≤i≤k 都有 : g(k+1)Td(i)=0\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(i)}=0 由上可知:g(k+1)\boldsymbol{g}^{(k+1)}正交于由向量d(0),d(1),…,d(k)\boldsymbol{d原创 2016-11-19 11:37:29 · 2730 阅读 · 1 评论 -
最优化学习笔记(十二)——基本共轭方向算法(续)
目标函数为nn维二次型函数时,共轭方向法能够在nn步迭代之后得到极小点。接下来会发现,共轭方向法的中间迭代步骤具有一种很有意义的性质。选定x(0)\boldsymbol{x}^{(0)}作为迭代初始点, d(0)\boldsymbol{d}^{(0)}为初始搜索方向, 有: x(1)=x(0)−(g(0)Td(0)d(0)TQd(0))d(0)\boldsymbol{x}^{(1)} = \bo原创 2016-11-12 09:26:16 · 1514 阅读 · 1 评论 -
最优化学习笔记(十一)——对偶问题的例子
某线性规划问题为: mincTxst.Ax≤b\min \boldsymbol{c}^T\boldsymbol{x} \\st. \boldsymbol{Ax} \le \boldsymbol{b} 这个例子和上节中的表2非对称形式的对偶关系比较接近,将上式改写为: maxxT(−c)st.xTAT≤bT\max \boldsymbol{x^T(-c)}\\st. \boldsymb原创 2016-09-16 11:23:14 · 17121 阅读 · 0 评论 -
最优化学习笔记(四)——最速下降法
一、最速下降法的理念 最速下降法是梯度方法的一种实现,它的理念是在每次的迭代过程中,选取一个合适的步长αk\alpha_k,使得目标函数的值能够最大程度的减小。αk\alpha_k可以认为是函数ϕk(α)=f(x(k)−α∇f(x(k)))\phi_k(\alpha) = f(x^{(k)}-\alpha \nabla f(x^{(k)}))的极小值点: αk=argminf(x(k)−α原创 2016-05-29 10:19:05 · 39019 阅读 · 1 评论 -
最优化学习笔记(一)——牛顿法(一维搜索方法)
一、一维搜索方法讨论目标函数为一元单值函数f:R→Rf: \mathbb{R} \to \mathbb{R}时的最优化问题的迭代求解方法。二、局部极小点的条件n元实值函数ff的一阶导数DfDf为: Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\pa原创 2016-04-17 12:02:46 · 8099 阅读 · 0 评论 -
最优化学习笔记(六)——牛顿法性质分析
一、牛顿法存在的问题 在单变量的情况下,如果函数的二阶导数f′′<0f''<0,牛顿法就无法收敛到极小点。类似的,在多变量的情况下,目标函数的hessian矩阵F(x(k))\boldsymbol{F}(\boldsymbol{x}^{(k)})非正定,牛顿法的搜索方向并不一定是目标函数值的下降方向。甚至在某些情况下F(x(k))>0\boldsymbol{F}(\boldsymbol{x}^原创 2016-07-24 11:38:35 · 1384 阅读 · 0 评论 -
最优化学习笔记(五)——牛顿法(多维数据)
在最优化学习系列中,第一次就说的是牛顿法,但是那是在一维搜索上的,它其实就是将函数ff在xx处利用泰勒公式展开,得到它的近似函数,进而求解最小值。本节内容主要说明牛顿法在多维数据上的迭代公式。最优化学习笔记中讲到的最速下降法是一种速度比较快的优化方法,但是最速下降法只用到了函数的一阶导数,这种方法并不总是最高效的。而这里说的牛顿法用到了二阶导数,它的效率可能比最速下降法更优。 当目标函数f原创 2016-06-19 21:34:24 · 9859 阅读 · 0 评论 -
最优化学习笔记(六)——牛顿法性质分析
一、牛顿法存在的问题 在单变量的情况下,如果函数的二阶导数f′′<0f''<0,牛顿法就无法收敛到极小点。类似的,在多变量的情况下,目标函数的hessian矩阵F(x(k))\boldsymbol{F}(\boldsymbol{x}^{(k)})非正定,牛顿法的搜索方向并不一定是目标函数值的下降方向。甚至在某些情况下F(x(k))>0\boldsymbol{F}(\boldsymbol{x}^原创 2016-07-24 11:38:53 · 2617 阅读 · 0 评论 -
最优化学习笔记(七)——Levenberg-Marquardt修正(牛顿法修正)
上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此,d(k)=−F(x(k))−1g(x(k)) \boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})} 可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题,保证每原创 2016-07-31 23:31:34 · 6112 阅读 · 0 评论 -
最优化学习笔记(八)——共轭方向法
从这节开始,将学习共轭方向法的相关内容,本篇先做一个简短的开篇。共轭方向法的计算效率不如之前的牛顿法,但是也优于最速下降法。它有以下优势: 对于nn维二次型问题,能够在nn步之内得到结果; 作为共轭方向的典型代表,共轭梯度法不需要计算hessian矩阵; 不需要存储n×nn \times n矩阵,也不需要对其进行求逆运算。 如果Rn\mathbb{R}^n中的两个方原创 2016-08-07 11:49:39 · 9467 阅读 · 0 评论 -
最优化学习笔记(九)——基本的共轭方向算法
一、基本共轭方向算法 对于nn维二次型函数的最小化问题: f(x)=12xTQx−xTbf(x)=\frac{1}{2}\boldsymbol{x^TQx-x^Tb} 其中,Q=QT>0,x∈Rn\boldsymbol{Q}=\boldsymbol{Q^T}>0, \boldsymbol{x} \in \mathbb{R^n}。因为Q>0\boldsymbol{Q}>0,所以函数ff原创 2016-08-28 11:21:35 · 4793 阅读 · 1 评论 -
最优化学习笔记(十)——对偶线性规划
一、对偶问题 每个线性规划问题都有一个与之对应的对偶问题。对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题,因此可以采用单纯形法(有关单纯形法会在以后的笔记中补充)求解。对偶问题的最优解也可以通过原问题的最优解得到,反之亦然。而且,在某些情况下,利用对偶理论求解线性规划问题更为简单,而且有助于深入了解待求问题的本质。二、对偶问题的定义与表述 考虑如下形原创 2016-09-03 16:45:23 · 23307 阅读 · 3 评论 -
最优化学习笔记(三)——梯度下降法
本来这周计划写下逻辑回归的学习笔记,但是其中用到了最优化对数似然函数,因此决定先复习下梯度方法和拟牛顿法。本节先从纯数学的角度总结下梯度下降法。一、柯西-施瓦茨不等式对于 Rn\mathbb {R^n}中的任意两个向量 x\boldsymbol{x} 和y\boldsymbol{y}, 有: |<x,y>|≤||x||||y|||<\boldsymbol{x},\boldsymbol{y}>|原创 2016-05-22 11:04:19 · 5491 阅读 · 2 评论