2017年01月__Kevin_Duan_

08月 07月 06月 05月 04月 03月 02月 01月

转载 Optimization inequalities cheatsheet

This article is from http://fa.bianp.net/blog/2017/optimization-inequalities-cheatsheet/, just record it.Most proofs in optimization consist in using inequalities for a particular function class in som

2017-01-17 12:55:03 487

原创最优化学习笔记(十八)——拟牛顿法(4)DFP算法

秩2算法可以保证在任意第kk步迭代下，只要一维搜索是精确的，近似矩阵Hk\boldsymbol{H}_k就是正定的。DFP算法令k=0k=0,选择初始点x(0)\boldsymbol{x}^{(0)}，任意选择一个堆成正定实矩阵H0\boldsymbol{H}_0。如果g(k)=0\boldsymbol{g}^{(k)} = \boldsymbol{0}，停止迭代；否则，令d(k)=−Hk

2017-01-15 11:21:27 6049

原创最优化学习笔记(十七)——拟牛顿法(3)

秩1修正公式在秩1修正公式中，修正项为αkz(k)z(k)T,αk∈R,z(k)∈Rn\alpha_k\boldsymbol{z}^{(k)}\boldsymbol{z}^{(k)T}, \alpha_k \in \mathbb{R}, \boldsymbol{z}^{(k)} \in \mathbb{R}^n,是一个对称矩阵，近似矩阵的更新方程为： Hk+1=Hk+αkz(k)z(k)T

2017-01-08 14:43:52 2522

原创最优化学习笔记(十六)——拟牛顿法(2)

Hessian矩阵逆矩阵的近似一、拟牛顿法的基本思路令H0,H1,H2,…\boldsymbol{H_0,H_1, H_2}, \dots表示Hessian矩阵逆矩阵F(x(k))−1\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件，这是拟牛顿法的基础。首先，假定目标函数ff的Hessian矩阵F(x

2017-01-01 11:36:45 1419