高数基础——线搜索

非零因子

已于 2022-03-22 00:50:16 修改

阅读量1.5k

点赞数 2

分类专栏：数学基础学习文章标签： python

于 2022-01-23 00:23:11 首次发布

本文链接：https://blog.csdn.net/weixin_46489969/article/details/122643049

版权

数学基础学习专栏收录该内容

2 篇文章 1 订阅

订阅专栏

1，无约束优化问题（unconstrained optimization）

（1）如果且，则为全局最优点---最小值点

（2）如果存在的一个邻域，使得且，则称为局部最优点---极小值点

3，置信域方法（trust region）

1，无约束优化问题（unconstrained optimization）

$\underset{x{\in}\mathbb{R}^{n}}{min}f(x)$

无优化约束问题：即找 f(x) 函数在 $x\in \mathbb{R}^{n}$ 上的最小化的最优解 $x^{\ast }$ ， $f(x^{\ast })$ 问题

（1）如果 $f(x^{\ast })\leq f(x)$ 且 $\forall{x\in \mathbb{R}^{n}}$ ，则 $x^{\ast }$ 为全局最优点---最小值点

（2）如果存在 $x^{\ast }$ 的一个邻域 $\mathfrak{N}$ ，使得 $f(x^{\ast })\leq f(x)$ 且 $\forall{x\in \mathfrak{n}}$ ，则称 $x^{\ast }$ 为局部最优点---极小值点

Theorem.1：局部极小值点，一阶导为0

Theorem.2： $\bigtriangledown^{2}f(x)$ ，海瑟矩阵半正定（positive semidefinite）

Theorem.3：（二阶充分条件）若 $\bigtriangledown{f(x^{\ast })}=0$ ， $\bigtriangledown^{2}f(x^{\ast })$ is positive definite，则 $x^{\ast }$ 是局部极小值点---判断最优解的法则

Theorem.4：若为凸函数，则任意一个极小值点为全局极小值点

note：非凸函数---遗传算法/离子群算法（启发式方法，无理论）

期待跳出局部极值，达到全局极值

2，线搜索方法（line search）

（1）概念

构造一系列收敛序列 $\left \{ x_{k} \right \}$ 收敛到最优点 $x^{\ast }$ ，每次对于当前的状态 $x_{k}$ ，选择优化方向 $P_{k}$ ，以及最优步长 $\alpha$ ，最终使得 $\underset{\alpha > 0}{min}f(x_{k}+\alpha P_{k})$

${\color{Red} x_{k}\rightarrow x^{\ast }}$ ${\color{Red}x_{k+1}=x_{k}+\alpha P_{k} }$

（2）方法

在线搜索（line search）方法中，主要的迭代为

$x_{k+1}=x_{k}+\alpha P_{k}$

成功的线搜索方法取决于方向 $P_{k}$ 和步长（step length） $\alpha _{k}$ 的选择。

大多数线搜索算法中，要求 $P_{k}$ 是一个下降方向（descent direction），即 $P_{k}^{T}\bigtriangledown{f_{k}}< 0$ （梯度与 $P_{k}$ 点积小于0），一般而言，要求线搜索的方向有下述形式

$P_{k}=-B_{k}^{-1}\bigtriangledown{f_{k}}$

其中 $B_{k}$ 是一个对称正定的满秩矩阵（symmetric and nonsingulear）， $\bigtriangledown{f_{k}}| _{x=x_{k}}$ 是梯度（梯度是上升最快的方向）

【1】steepest descent method：I（单位矩阵） $-\bigtriangledown{f_{k}}$ --- 最速下降法

【2】Newton's method：the exact Hessian $\bigtriangledown^{2}f(x_{k})$ --- 海瑟矩阵估计法

【3】Quasi-Newton method：an approximation to the Hessian that is updated at every iteration by means of a low-rank formula. --- 拟牛顿法（为了避开海瑟矩阵求逆）

note：点积 $\left \langle a;b \right \rangle=\left \| a \right \|\left \| b \right \|cos(a,b)$ ，正负取决于 $\overrightarrow{a}$ ， $\overrightarrow{b}$ 的夹角（象限左边为负，右边为正）

所以与梯度夹角 $\pm 90^{\circ}$ 以内为上升方向，与梯度夹角 $> 90^{\circ}$ 为下降方向

（3）线搜索步骤

【1】计算搜索方向 $P_{k}$ from $x_{k}$

【2】确定 $P_{k}$ 为下降方向， $P_{k}^{T}\bigtriangledown{f_{k}}< 0$

【3】确定步长 $\alpha_{k}>0$ ， $f(x_{k})=f(x_{k}+\alpha_{k}P_{k})<f_k$

【4】computation of $\alpha_{k}$ is the linesearch -- may itself be an iteration

【5】generic linesearch method： $x_{k+1}=x_{k}+\alpha P_{k}$

3，置信域方法（trust region）

在 $x_{k}$ 附近构造一个模型函数（model function） $m_{k}$ 作为在 $x_{k}$ 附近的一个估计，当然这个估计只能在局部是比较好的，然后我们去求解下述子问题

$\underset{p}{min}m_{k}f(x_{k}+ p)$

where $x_{k}+p$ lies in the trust region.

把函数分区，在每一区域用模型函数估计一个近似函数 --- 泰勒展开，海瑟矩阵

非零因子

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
高数基础——线搜索

1，无约束优化问题（unconstrained optimization）无优化约束问题：即找函数在上的最小化的最优解，问题（1）如果且，则为全局最优点---最小值点（2）如果存在的一个邻域，使得且，则称为局部最优点---极小值点Theorem.1：局部极小值点，一阶导为0Theorem.2：，海瑟矩阵半正定（positive semidefinite）Theorem.3：（二阶充分条件）若，is positive definite，则是局部极小值点---判断最优解的法则T.
复制链接

扫一扫