使用Python实现Primal-Dual Interior Point Method

最新推荐文章于 2022-10-06 14:10:14 发布

Babyface Killer

最新推荐文章于 2022-10-06 14:10:14 发布

阅读量1.1k

点赞数

分类专栏：学习心得文章标签：算法 python 机器学习

本文链接：https://blog.csdn.net/chaunceyliu30/article/details/115929564

版权

Primal Dual Problem

对于每一个优化问题（Primal problem），都有其对应的对偶问题（Dual problem）。每个优化问题的对偶问题可设置一个优化问题的Lagrangian function并求其最优解得出。例如：

对优化问题 $min \frac{1}{2}x^{T}Qx+c^{T}x$ 约束条件为 $Ax=b$ ， $x\geq 0$ ，Lagrangian funciton可表示为： $L(x)=\frac{1}{2}x^{T}Qx+c^{T}x-\mu ^{T}x+\lambda ^{T}(Ax-b)$ ,对其求最优解可得： $x=-Q^{-1}(A^{T}\lambda -\mu +c)$ ,将 $x$ 带入Lagrangian function，则得到对偶问题为： $max -\frac{1}{2}(c-\mu +A^{T}\lambda )^{T}Q^{-1}(c-\mu +A^{T}\lambda)-b^{T}\lambda$ 约束条件为 $\mu \geq 0$

在每次迭代求解时，对偶问题都为初始问题提供了一个下限（lower bound），在迭代的过程中初始问题和对偶问题会向着各自的最优解方向移动，当初始问题达到最优解时其对偶问题也达到最优解，此时初始问题和其对偶问题最优解对应的目标函数值相同。

Interior Point Method

Interior Point method 为上述求初始问题和对偶问题的最优解提供了一个可迭代的算法，在每次的迭代过程中初始问题目标函数的值与对偶问题目标函数的值之差会越来越小，当该算法收敛时初始问题的目标函数的值和对偶函数的目标函数的值相等。

Barrier Reformulation

为了更简便地使用迭代算法并保证每次迭代后的点都在可行区间内，可以使用 $-\mu \sum ln(x)$ 来替代约束条件 $x\geq 0$ ，因此一个线性优化问题就可转化为：

，其Lagrangian function可表示为：

最低0.47元/天解锁文章

Babyface Killer

关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
使用Python实现Primal-Dual Interior Point Method

Primal Dual Problem对于每一个优化问题（Primal problem），都有其对应的对偶问题（Dual problem）。每个优化问题的对偶问题可设置一个优化问题的Lagrangian function并求其最优解得出。例如：对优化问题约束条件为，，Lagrangian funciton可表示为：,对其求最优解可得：,将带入Lagrangian function，则得到对偶问题为：约束条件为在每次迭代求解时，对偶问题都为初始问题提供了一个下限（lower bound），在..
复制链接

扫一扫