最优化理论期末复习

橘子柠檬混合果汁

已于 2023-12-27 18:18:37 修改

阅读量2k

点赞数 10

文章标签：人工智能算法机器学习

于 2023-12-15 17:02:23 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_60807167/article/details/135021166

版权

一、最优化基础

1、判断矩阵A是不是正定

若A的特征值全为正，则A正定。即 $\left | A-\lambda E \right |=0$ ,其中 $\lambda$ 为特征值。

注：

正定矩阵：对于一个n阶矩阵A，如果它的所有特征值都大于0，则矩阵A是正定的。
负定矩阵：对于一个n阶矩阵A，如果它的所有特征值都小于0，则矩阵A是负定的。
半正定矩阵：对于一个n阶矩阵A，如果它的所有特征值都大于等于0，则矩阵A是半正定的。
半负定矩阵：对于一个n阶矩阵A，如果它的所有特征值都小于等于0，则矩阵A是半负定的。

2、梯度（一阶导数）

3、Hesse矩阵

4、极值、稳定点

二、无约束规划方法

1、最速下降法

迭代公式： $x^{k+1} = x^{k}+a_{k}d^{k}$

其中： $d^{k} = -\triangledown f(x^{k})$ 为搜索方向；

$a^{k}$ 为步长。令 $f(x^{k+1})=f(x^{k}+a_{k}d^{k})$ ，代入 $x^{k}$ 、 $d^{k}$ 数据，

由 ${f}'(x^{k+1}) = 0$ 解出 $a^{k}$ 。

算法步骤：

（1）求 $d^{0}$

(2) 判断 $||d^{0}|| < \varepsilon$ ，若成立，则退出；否则，继续。

(3）求 $a^{0}$ ，对 $f(x^{0}+a_{0}d^{0})$ 求导，令其为0，可得 $a^{0}$ 。

（4） $x_{1} = x^{0}+a_{0}d^{0}$ ，重复1步骤，其中k+=1。

例题1

依次求解：k = 1 时， $a_{1} = 1,x^{2}=(-1,1.4)^{T}$

k = 2 时， $a_{2} = 0.2,x^{2}=(-0.96,1.44)^{T}$

显然， $a_{2}$ 满足约束，停止计算。

例题2

2、牛顿法

迭代公式： $x^{k+1}=x^{k}-\left [ \triangledown ^{2}f(x^{k}) \right ]^{-1}\triangledown f(x^{k})$

其中： $-\left [ \triangledown ^{2}f(x^{k}) \right ]^{-1}\triangledown f(x^{k}) = d_{k}$

那么就有： $\triangledown ^{2}f(x^{k})\cdot d_{k} = -\triangledown f(x^{k})$

可由上式求出方向，牛顿法中步长恒为1。

算法步骤：

（1）求 $x_{0}$ 处梯度： $\triangledown f(x^{0})$

（2）判断 $||\triangledown f(x^{0})|| < \varepsilon$ ，若成立，则退出；否则，继续。

（3）求 $x_{0}$ 处黑塞矩阵： $\triangledown ^{2}f(x^{0})$

（4）求 $d^{0}$ ，即解出： $\triangledown ^{2}f(x^{0})\cdot d_{0} = -\triangledown f(x^{0})$

（5） $x^{1}=x_{0}+d^{0}$ ，重复1步骤，其中k+=1。

例题1

3、共轭梯度法

正定二次函数的算法步骤：

第一步：

（1）求 $x_{0}$ 处梯度： $\triangledown f(x^{0})$

（2）判断 $||\triangledown f(x^{0})|| < \varepsilon$ ，若成立，则退出；

否则，方向： $d^{0}=-\triangledown f(x^{0})$

（3）求 $x_{0}$ 处黑塞矩阵： $\triangledown ^{2}f(x^{0})$ ，记其为A。

（4）求步长： $a_{0}=-\frac{\left [ \triangledown f(x^{0}) \right ]^{T}\cdot d^{0}}{\left [ d^{0} \right ]^{T}Ad^{0}}$
（5） $x^{1}=x_{0}+a_{0}d^{0}$

第二步：

（1）求 $x_{0}$ 处梯度： $\triangledown f(x^{1})$

（2）判断 $||\triangledown f(x^{1})|| < \varepsilon$ ，若成立，则退出；

否则，方向： $d^{1}=-\triangledown f(x^{1})+\beta d^{0}$

其中： $\beta =\frac{||\triangledown f(x^{1})||^{2}}{||\triangledown f(x^{0})||^{2}}$

（3）求 $x_{0}$ 处黑塞矩阵： $\triangledown ^{2}f(x^{1})$ ，记其为A。

（4）求步长： $a_{1}=-\frac{\left [ \triangledown f(x^{1}) \right ]^{T}\cdot d^{1}}{\left [ d^{1} \right ]^{T}Ad^{1}}$

（5） $x^{2}=x_{1}+a_{1}d^{1}$ ，重复1步骤，其中k+=1。

例题1

图片上两个a等式后面都有负号，手误

三、约束规划的最优性条件

1、含等式和不等式约束的库恩-塔克条件（K-T点）

现有：

$min$ $f(x)$

$s.t.$ $g_{i}(x) \geq 0,i=1,2,\cdots ,m$

$h_{j}(x) = 0,j=1,2,\cdots ,l$

因为 $h_{j}(x) = 0$ 等价于 $h_{j}(x) \geq = 0$ 、 $h_{j}(x)\leq 0$

则库恩-塔克条件为：

$\triangledown f(x^{\ast })-\sum_{i=1}^{m}r_{i}\triangledown g_{i}(x^{\ast }) - \sum_{j=1}^{l}\lambda _{j}\triangledown h_{j}(x^{\ast }) = 0$

$r_{i}\triangledown g_{i}(x^{\ast }) =0,$ $i=1,2,\cdots ,l$

$r_{i}\geq 0,$ $i=1,2,\cdots ,l$

满足上述条件的点称为K-T点。

例题1

例题2

四、线性规划

1、标准形式的转化

2、单纯形法

例题1

其中第四、五列构成了一个单位矩阵，被选为了基，所以表中 $f$ 的下方为 $x4,x5$

检验数 $\overline{C}=(-2,-3,5)$ ，因为 $x1,x2\geq 0$ ，且系数都为负数，表明 $f$ 还有下降的空间，其中 $x2$ 下降最快，所以 $x2$ 进基。

根据 $min\left \{ \frac{10}{4},\frac{4}{2} \right \}$ ，得 $x5$ 出基。

将x2列的x5那个数字化为1，其余列的全化为0，即打上星号的数字。

检验数 $\overline{C}=(-\frac{1}{2},\frac{25}{2},\frac{2}{3})$ ，x1进基， $min\left \{ \frac{2}{1},\frac{2}{0.5} \right \}$ ，x4出基。

将x1列的x4那个数字化为1，其余列的全化为0，即打上星号的数字。

3、对偶单纯形法

例题1

最优解为： $(0,\frac{1}{4},\frac{1}{2})$ 。

五、罚函数法

1、外罚函数法

$min$ $f(x)$

$s.t.$ $g_{i}(x) \leq 0,i=1,2,\cdots ,m$

$h_{j}(x) = 0,j=1,2,\cdots ,l$

构造外罚函数： $P(x,\sigma )= f(x) + \sigma \widetilde{P}(x)$

其中： $\sigma$ 为罚因子，决定惩罚力

$\alpha ,\beta$ 一般取 2 。

算法步骤

例题1（等式约束）

例题2（不等式约束）

M就是 $\sigma$

2、内罚函数法

算法步骤

例题1

橘子柠檬混合果汁

博客等级

码龄4年

26
原创

417
点赞

917
收藏

270
粉丝

关注

私信

热门文章

最新评论

USB转串口芯片CH340的使用
weixin_41754723: 我查了以下CH340芯片的手册，手册规定输入信号的电压最大值为VCC+0.5V，博主电路图里VCC连的3.3V，直接输入USB的5V信号会有问题吗？
USB转串口芯片CH340的使用
weixin_43919043: ch340c 好文章
利用type-C(16P)设计电源接口
看，是大狗: CC1跟CC2最好加上5.1k的下拉电阻进行下拉这么做是为了在PD协议中表明需要供电，不下拉不稳定
利用type-C(16P)设计电源接口
渴望海洋的咸鱼: 能问一下为什么要接一个电阻然后接地吗
U8g2库使用
Axiaopohai: 是不是没有办法局部刷新，我用的ST7567芯片，往缓冲区写入”空格“，刷新显示以后原本显示的内容还在，没变化，显示别的字符，就会跟原本显示的字符叠加显示，头大，不知道是不是芯片的问题。

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。