最优化学习笔记3（ZoutendijK可行方向法、Rosen投影梯度法、Frank-Wolfe方法）

已于 2024-04-22 17:15:32 修改
阅读量2k 收藏 50
点赞数 32
文章标签： 学习 笔记 matlab
于 2024-04-22 17:14:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sibo_shang/article/details/138077348
版权

现实中不是所有的问题都不存在约束，这一章就是讲解存在约束情况下如何求解最优化问题。可行方向法就是无约束下降算法的自然推广，从初始点出发，沿着可行下降方向进行搜索，求出使目标函数下降的可行点。

1.ZoutendijK可行方向法

目标函数是非线性，约束条件是线性的

step1: 可行方向

如图所示，假设初始点在1，3约束的边界，那么积极约束就是\alpha 1和\alpha 3，那么可行方向就应该跟他们两个都成锐角，即内积都大于0.

step2：可行下降方向

再加上下降条件，则要保证该点的梯度值和方向乘积为负，这样问题就转化为一个线性规划问题，即图片右侧。最后的结果如果接近0，则该点就是要找的KT点，如果不是0，则d为可行下降方向。（终止条件）

step3：终止条件

step4：确定步长

这样我们就可以求得步长的最大值，然后进行一维搜索找到最优值。

例题与代码：

 代码如下：

%-------------------------------------
% Zoutendijk feasible direction method
%-------------------------------------
function [xstar,ystar] = zoutendijk(fun,A,b,E,e)

epsilon = 0.01;

% Initial feasible point 用于获取初始可行点的函数
x = inifeapoi(A,b,E,e);

% Iteration 
while 1
    % Feasible descent direction
    [d,grad] = feadesdir(fun,A,b,E,e,x);
    
    % If it is a K-T point
    if abs(grad'*d) <= epsilon
        xstar = x;
        ystar = fun(xstar);
        return;
    end
    
    % Line search 
    lambda = linesearch(fun,A,b,x,d);
    
    % Update
    x = x+lambda*d;
end

%-------------------------------------
% Initial feasible point
%-------------------------------------
function x = inifeapoi(A,b,E,e)
%生成一个函数，norm（v）默认计算向量的二范数 f函数计算的是二次型的残差函数
%其目的是为了通过fminsearch寻找满足等式约束的初始点x
f = @(x) 0.5*(norm(E*x-e))^2;   
while 1
    [~,n] = size(A); %获取矩阵的列数
    x = -5+10*rand(n,1); %生成一个每个维度都在[-5，5]的向量
    if ~isempty(E)
        %fminsearch 函数是一种无约束优化方法，但由于在这里已经通过等式约束限制了搜索空间，因此可以用来寻找初始可行点
        %fminsearch 使用无导数法计算无约束的多变量函数的最小值
        x = fminsearch(f,x);
    end
    if all(A*x >= b)
        break
    end
end

%-------------------------------------
% Feasible descent direction
%-------------------------------------
function [d,grad] = feadesdir(fun,A,b,E,e,x)
epsilon = 0.01;
[~,grad] = fun(x); %获取当前点的梯度
temp = A*x;
A1 = A(temp<=b+epsilon,:); %从约束矩阵中取出满足不等式约束的矩阵（积极约束的点） 
f = grad';
Aineq = -A1;
bineq = zeros(length(Aineq(:,1)),1);
if isempty(E)
    Aeq = E;
    beq = e;
else
    Aeq = E;
    beq = zeros(length(Aeq(:,1)),1);
end
lb = -1*ones(length(x),1);
ub = ones(length(x),1);
%在这里就将非线性规划转化为线性规划
d = linprog(f,Aineq,bineq,Aeq,beq,lb,ub);

%-------------------------------------
% Line search
%-------------------------------------
function lambda = linesearch(fun,A,b,x,d)
epsilon = 0.01;
temp = A*x;
A1 = A(temp<=b+epsilon,:);
A2 = A(temp>b+epsilon,:);
b1 = b(temp<=b+epsilon);
b2 = b(temp>b+epsilon);
b_hat = b2-A2*x;
d_hat = A2*d;
if all(d_hat>=0)
    lambda_max = 10;
else
    lambda_max = min(b_hat(d_hat<0)./d_hat(d_hat<0));
end
lineobjfun = @(lambda) fun(x+lambda*d);
lambda = fminbnd(lineobjfun,0,lambda_max);

目标函数：

function [y,g] = objfun(x)
y = x(1)^2+x(2)^2-2*x(1)-4*x(2)+6;
g = [2*x(1)-2;2*x(2)-4];

主函数：

f = @(x) objfun(x);
A = [-2 1;-1 -1;1 0;0 1];
b = [-1;-2;0;0];
E = [];
e = [];

[xstar,ystar] = zoutendijk(f,A,b,E,e)

2.Rosen投影梯度法

有关基础知识，涉及向量组生成的子空间，值空间，核空间（零空间），投影矩阵

 基本思想和证明：

其核心还是求可行下降方向。

 步骤和代码：

%-------------------------------------
% Rosen gradient projection method
%-------------------------------------
function [xstar,ystar] = rosen(fun,A,b,E,e)

epsilon = 0.01;

% Initial feasible point
x = iniFeaPoi(A,b,E,e);

% Iteration 
while 1
    % Separate active constraints 
    A1 = activeCon(A,b,x);
    
    while 1  
        M = [A1;E];
        % Compute gradient project direction
        [~,grad] = fun(x);
        P = gradProjMat(M,x);
        d = -P*grad;
            
        % If d is zero
        if norm(d) <= epsilon
            % If M is empty，x is a local minimum
            if isempty(M)
                xstar = x;
                ystar = fun(xstar);
                return;
            else
                W = (M*M')^-1*M*grad;
                u = W(1:length(A1(:,1)));
                % If all u>=0, x is a K-T point
                if all(u>=0)
                    xstar = x;
                    ystar = fun(xstar);
                    return;
                else
                    [~,j] = min(u);
                    A1(j,:) = [];
                    continue;
                end
            end
        else
            break;
        end
    end
    
    % Line search 
    lambda = linesearch(fun,A,b,x,d);
    
    % Update
    x = x+lambda*d;
end

%-------------------------------------
% Initial feasible point
%-------------------------------------
function x = iniFeaPoi(A,b,E,e)
f = @(x) 0.5*(norm(E*x-e))^2;
while 1
    [~,n] = size(A);
    x = -5+10*rand(n,1);
    if ~isempty(E)
        x = fminsearch(f,x);
    end
    if all(A*x >= b)
        break
    end
end
x = [0,0]';

%-------------------------------------
% Separate active constraints
%-------------------------------------
function A1 = activeCon(A,b,x)
epsilon = 0.01;
act_idx = A*x<=b+epsilon;
A1 = A(act_idx,:);

%-------------------------------------
% Compute gradient projection matrix
%-------------------------------------
function P = gradProjMat(M,x)
 if isempty(M)
    P = eye(length(x));
 else
    P = eye(length(x))-M'*(M*M')^-1*M;
 end

%-------------------------------------
% Line search
%-------------------------------------
function lambda = linesearch(fun,A,b,x,d)
epsilon = 0.01;
temp = A*x;
A1 = A(temp<=b+epsilon,:);
A2 = A(temp>b+epsilon,:);
b1 = b(temp<=b+epsilon);
b2 = b(temp>b+epsilon);
b_hat = b2-A2*x;
d_hat = A2*d;
if all(d_hat>=0)
    lambda_max = 10;
else
    lambda_max = min(b_hat(d_hat<0)./d_hat(d_hat<0));
end
lineobjfun = @(lambda) fun(x+lambda*d);
lambda = fminbnd(lineobjfun,0,lambda_max);

 目标函数：

function [y,g] = objfun(x)
y = 2*x(1)^2+2*x(2)^2-2*x(1)*x(2)-4*x(1)-6*x(2);
g = [4*x(1)-2*x(2)-4;4*x(2)-2*x(1)-6];

主函数：

f = @(x) objfun(x);
A = [-1 -1;-1 -5;1 0;0 1];
b = [-2;-5;0;0];
E = [];
e = [];

[xstar,ystar] = rosen(f,A,b,E,e)

3.Frank-Wolfe方法

算法简介与原理：

 代码及实现：

%-------------------------------------
% Frank&Wolfe method
%-------------------------------------
function [xstar,ystar] = frank_wolfe(fun,A,b,E,e)

epsilon = 0.01;

% Initial feasible point
x = iniFeaPoi(A,b,E,e);

% Iteration 
while 1
    % Solve linear programming problem
    [~,grad] = fun(x);
    f = grad';
    Aineq = -A;
    bineq = -b;
    Aeq = E;
    beq = e;
    y = linprog(f,Aineq,bineq,Aeq,beq);
    
    % Direction
    d = y-x;
    
    if grad'*d >= -epsilon
        % x is a K-T point
        xstar = x;
        ystar = fun(x);
        return;
    else
        % Line search 
        lambda = linesearch(fun,x,d);
    end
    
    % Update
    x = x+lambda*d;
end

%-------------------------------------
% Initial feasible point
%-------------------------------------
function x = iniFeaPoi(A,b,E,e)
f = @(x) 0.5*(norm(E*x-e))^2;
while 1
    [~,n] = size(A);
    x = -5+10*rand(n,1);
    if ~isempty(E)
        x = fminsearch(f,x);
    end
    if all(A*x >= b)
        break
    end
end
x = [0,0]';

%-------------------------------------
% Line search
%-------------------------------------
function lambda = linesearch(fun,x,d)
lineobjfun = @(lambda) fun(x+lambda*d);
lambda = fminbnd(lineobjfun,0,1);

 目标函数：

function [y,g] = objfun(x)
y = 2*x(1)^2+2*x(2)^2-2*x(1)*x(2)-4*x(1)-6*x(2);
g = [4*x(1)-2*x(2)-4;4*x(2)-2*x(1)-6];

 主函数：

f = @(x) objfun(x);
A = [-1 -1;-1 -5;1 0;0 1];
b = [-2;-5;0;0];
E = [];
e = [];

[xstar,ystar] = frank_wolfe(f,A,b,E,e)

Frank-wolfe 算法是一种可行方向法.使用这种方法，在每次选代中,搜索方向总是指向某个极点,并且当迭代点接近最优解时,搜索方向与目标函数的梯度趋于正交，这样的搜索方向并非最好的下降方向，因此算法收敛较慢.但是,这种方法把求解非线性规划问题转化为求解一系列线性规划,在某些情形下，也能收到较好计算效果，因此在实际应用中仍是一种有用的算法，比如，在研究交通问题时就用到这种方法。

总结：

以上三种方法均适用与约束情况下的非线性最优化问题，他们的核心就是寻找可行方向，第一个方法时将其转换为线性优化问题，第二个是利用投影方向，第三个是将目标函数线性化（泰勒），转换为线性规划问题。他们三个办法都用到了目标函数的梯度。

这篇博客中的内容和代码均来自西南科技大学理学院最优控制与数据智能团队龙强老师的课程，仅作个人学习使用，具体链接：GitHub - QiangLong2017/Optimization-Theory-and-Algorithm: 用于存放《最优化理论与算法》代码与课件

sibo_shang
关注
  • 32
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
罗森的约束优化问题：罗森的梯度投影方法； 这是解决约束优化问题的另一种直接方法-matlab开发
05-31
罗森梯度投影法算法算法。 渐变投影应用中涉及的过程方法可以通过以下步骤来描述： 1. 从初始点 X1 开始。 点 X1 必须是可行的，即gj(X1) ≤ 0, j = 1, 2, . . . ,米2. 设置迭代次数为 i = 1。 3. 如果 Xi 是一个内部可行点（即如果 gj(Xi)<0 for j = 1, 2, . . . , m），设置搜索方向为 Si = −∇f (Xi)，将搜索方向归一化为硅 = −∇f (Xi) ‖∇f (Xi)‖ 并转到步骤 5。但是，如果 gj (Xi) = 0 for j = j1, j2, ... . . , jp，转到步骤 4。 4.计算投影矩阵Pi为Pi = I − Np(NTp Np)−1NTp 在哪里Np = [∇gj1(Xi)∇gj2(Xi)。 . .∇gjp(Xi)] 并找到归一化的搜索方向 Si 为硅 = −Pi∇f (Xi) ‖Pi
Zoutendijk可行方向法
12-11
Zoutendijk可行方向法及其改进方法的详细介绍
最优化理论探析：函数优化与组合优化，约束优化与无约束优化的交织与应用
最新发布
初心不忘产学研的博客
04-26 1007
最优化理论作为运筹学、数学规划和工程科学中的核心研究领域，涵盖了函数优化、组合优化、约束优化和无约束优化等多个分支。这些理论在解决实际问题中发挥着重要作用，从资源分配、生产调度到网络路由、物流优化，再到机器学习、人工智能等领域，都有着广泛的应用。本文将深入探讨函数优化与组合优化，以及约束优化与无约束优化的基本概念、方法及其在实际问题中的应用。： 函数优化，又称数值优化，主要研究如何在一组可行解中找到使目标函数达到最小或最大的解。目标函数通常是连续的，并且定义在欧几里得空间或其高维扩展上。
约束优化方法_1_——Zoutendijk可行方向法
小小顺利的博客
12-27 1万+
Zoutendijk可行性方法属于约束极值问题可行方向法中的一种。与之前无约束极值问题中的最速下降法、牛顿法相像，可行方向法的策略是：从可行点出发，沿着下降的可行方向进行搜索，求出使目标函数值下降的可行点。 教材中共介绍了四种方法：Zoutendijk可行性方法、Rosen梯度投影方法、既约梯度法、Frank-Wolfe方法。博文对Zoutendijk可行性方法和Frank-Wolfe方法进行了介...
带约束优化之可行方向法
weixin_43290709的博客
01-11 4292
文章目录1 Zoutendijk可行方向法算法步骤例1 用Zoutendijk可行方向法求解优化问题例2 用Zoutendijk可行方向法求解优化问题2 Frank-Wolfe方法算法步骤例3 用Frank-Wolfe方法求解优化问题3 Rosen梯度投影法投影矩阵下降可行方向算法步骤例4 用Rosen梯度投影法求解优化问题 1 Zoutendijk可行方向法 算法步骤 例1 用Zoutendijk可行方向法求解优化问题 例2 用Zoutendijk可行方向法求解优化问题 2 Frank-
Frank-Wolfe方法
热门推荐
gnefniu的专栏
12-24 2万+
1956年，Frank 和Wolfe提出了一种求解线性约束问题的算法，其基本思想是将目标函数作线性近似，通过求解线性规划求得可行下降方向,并沿该方向在可行域内作一维搜索.这种方法又称作近似线性化方法. 问题 原理 近似线性化和可行下降方向 假设此问题存在有限最优解yk，则由线性规划的基本知识可知，这个最优解可在某极点上达到. 结论： 确定一维搜索步长
Rosen的梯度投影法功率分配：梯度投影法的应用，是可行方向的方法之一-matlab开发
05-30
% 主要参考是： % 分布式多雷达架构中目标定位的功率分配策略% 罗森的梯度投影方法，经过修改以保证收敛% MS Bazaraa、HD Sherali、CM Shetty，“非线性规划：理论% 和算法”，第 2 节。 编，威利，纽约，1993 年。 ...
minRosen.rar_投影梯度_投影梯度法_投影法 matlab_梯度投影_梯度投影法
07-14
采用梯度投影法求解有约束优化问题的最小值和最小值点
优化方法：最速下降、阻尼牛顿、共轭梯度、BFGS法 matlab程序，以求解Rosen Brock函数极小值为例
04-15
优化方法：最速下降、阻尼牛顿、共轭梯度、BFGS法 matlab程序，以求解Rosen Brock函数极小值为例 程序有详细注释。
Rosen梯度投影法.doc
10-07
Rosen梯度投影法 Rosen梯度投射法是一种常用的优化算法，用于解决带约束的非线性规划问题。该算法的主要思想是使用梯度投影法来寻找目标... Rosen梯度投射法的应用非常广泛，包括机器学习、数据挖掘、金融优化等领域。
解带线性或非线性约束最优化问题的结合共轭梯度参数的记忆梯度Rosen投影算法 (2005年)
04-24
对于求解无约束规划的记忆梯度算法中的参数，作者利用Rosen投影矩阵给出了一个条件以确定其取值范围，使其在取值范围内取值均能得到目标函数的记忆梯度Rosen投影下降方向，从而建立了求解带线性或非线性约束最优化问题的记忆梯度Rosen投影算法。然后在较弱条件下证明了算法的收敛性，同时给出了具有好的收敛性质和较快收敛速度的结合FR，PR，HS共轭梯度参数的记忆梯度Rosen投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题。由于算法需要较小的存储，算法适合于大规模问题的计算。数值例子表明算法是有效的。
FrankWolfe_BPR配流算法.rar_FrankWolfe_BPR_FrankWolfe_BPR配流算法_frankwo
09-21
FrankWolfe_BPR配流算法，用于基于BPR函数的配流方法
优化理论11---- Zoutendijk可行方向法、非线性约束情形、ε起作用约束可行方向法、Frank-Wolfe 方法
炫云云
06-03 2314
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖
最优化算法---可行方向之Frank-wolfe 方法（求解非线性规划问题）
王尚权 qq:2515162716
04-17 5125
问题定义 主要思想 具体方法 去掉常数项 极点：函数值取极值对应的变量取值 具体步骤： 举例： 每上步转化为：
图解法求最优解的例题_《数值与最优化方法》（四）
weixin_28738021的博客
12-19 3277
点击返回目录 二. 约束最优化方法对于约束最优化方法，与无约束最优化方法的一个重要的区别在于：它们共同解决的问题都是 ，只不过对于约束最优化方法，还需要满足形如 以及 的条件。多了这个条件以后，在搜索方向和步长的设置上也会随之有所变化。下面先来看它的解析解法吧（值得注意的是，2.1中介绍的概念和定义，将在后面得到应用）。2.1 解析解法2.1.1 可行下降方向在无约束最优化方法中，我们试图利...
约束最优化方法 (二) Zoutendijk容许方向法
小小何先生的学习之旅
01-10 2927
本文首发于公众微信号-AI研究订阅号，来源东北大学模式识别研究生课程《最优化》个人学习笔记。
基于Frank Wolfe算法，求解交通分配UE模型（Python & NetWorkX）
m0_61584121的博客
03-10 4462
本文针对SiouxFalls交通网络，基于Frank Wolfe算法，求解交通分配用户均衡模型。代码逻辑较为明确，便于阅读、学习。
Frank-wolfe算法多OD对matlab实现
m0_37407587的博客
08-25 1万+
Frank-wolfe算法多OD对matlab实现 Frank-wolfe算法多OD对matlab实现 Frank-wolfe算法原理 Frank-wolfe算法流程 算例 将道路网络抽象为图 给定OD对 关键函数及完整流程 1. 搜索每个OD对在网络上的可行径 2. Frank-worlfe算法构造 3. 主函数 存在的问题 Frank-wolfe...
rosen投影梯度法matlab
01-08
Rosenbrock函数是一个经典的非凸优化问题，通常用来测试优化算法的性能。而投影梯度法是一种用于解决约束优化问题的方法，它可以处理等式约束和不等式约束，适用范围广泛。在MATLAB中，我们可以通过编写代码来实现Rosenbrock函数的优化和投影梯度法的应用。 首先，我们需要定义Rosenbrock函数，并且指定优化的变量范围和约束条件。然后，我们可以使用MATLAB中的优化工具箱中的fmincon函数来调用投影梯度法进行优化。这个函数可以直接处理约束优化问题，我们只需将Rosenbrock函数、初始点、约束条件等输入到fmincon函数中即可。 在MATLAB中，我们还可以通过编写自定义的投影梯度法算法来实现优化过程，这样可以更灵活地控制优化过程的细节。我们可以根据实际问题的特点，对投影梯度法进行调整和改进，以提高算法的效率和收敛性。 总之，通过MATLAB可以很方便地实现Rosenbrock函数的优化和投影梯度法的应用。我们可以通过调用现成的优化函数，也可以通过编写自定义的算法来实现约束优化问题的求解。MATLAB提供了丰富的工具和函数，可以帮助我们快速、高效地解决优化问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值