最优化方法——乘子法和外点罚函数法

此题摘自文件 最优化方法 第三章(乘子法) 13/24

【题目】分别用外点法乘子法求等式约束问题
m i n 1 2 x 1 2 + 1 6 x 2 2 s . t . x 1 + x 2 = 1 \mathrm{min} \quad \frac{1}{2}x^2_1+\frac{1}{6}x^2_2 \\ \mathrm{s.t.} \quad x_1+x_2=1 min21x12+61x22s.t.x1+x2=1
【解】(外点罚函数法)① 构造罚函数
F ( x , M k ) = 1 2 x 1 2 + 1 6 x 2 2 + M k ( x 1 + x 2 − 1 ) 2 F(x,M_k)=\frac{1}{2}x^2_1+\frac{1}{6}x^2_2+M_k(x_1+x_2-1)^2 F(x,Mk)=21x12+61x22+Mk(x1+x21)2
② 求偏导
∂ F ∂ x 1 = x 1 + 2 M k ( x 1 + x 2 − 1 ) = 0 (1) \frac{\partial F}{\partial x_1}=x_1+2M_k(x_1+x_2-1)=0 \tag{1} x1F=x1+2Mk(x1+x21)=0(1)

∂ F ∂ x 1 = 1 3 x 2 + 2 M k ( x 1 + x 2 − 1 ) = 0 (2) \frac{\partial F}{\partial x_1}=\frac{1}{3}x_2+2M_k(x_1+x_2-1)=0 \tag{2} x1F=31x2+2Mk(x1+x21)=0(2)

③ 联立两个偏导式,求驻点,并得到 x 1 x_1 x1 x 2 x_2 x2的表达式

联立 ( 1 ) (1) (1) ( 2 ) (2) (2),得到
x 2 = 3 x 1 (3) x_2=3x_1 \tag{3} x2=3x1(3)
( 3 ) (3) (3)代回 ( 1 ) (1) (1),得到
x 1 + 2 M k ( 4 x 1 − 1 ) = 0 ⇒ ( 1 + 8 M k ) x 1 = 2 M k ⇒ x 1 = 2 M k 1 + 8 M k \begin{aligned} x_1+2M_k(4x_1-1)&=0 \\ \Rightarrow (1+8M_k)x_1&=2M_k \\ \Rightarrow x_1&=\frac{2M_k}{1+8M_k} \end{aligned} x1+2Mk(4x11)(1+8Mk)x1x1=0=2Mk=1+8Mk2Mk
根据 ( 3 ) (3) (3),得到
x 2 = 3 x 1 = 6 M k 1 + 8 M k x_2=3x_1=\frac{6M_k}{1+8M_k} x2=3x1=1+8Mk6Mk
x 1 x_1 x1 x 2 x_2 x2的表达式改写为
x ∗ = [ 2 2 M k + 8 6 2 M k + 8 ] T (4) x^*=\begin{bmatrix} \frac{2}{\frac{2}{M_k}+8}&\frac{6}{\frac{2}{M_k}+8} \end{bmatrix}^\mathrm{T} \tag{4} x=[Mk2+82Mk2+86]T(4)
④ 令 M k → ∞ M_k \to \infty Mk,得到结果
x ∗ = [ 1 4 3 4 ] T x^*=\begin{bmatrix} \frac{1}{4}&\frac{3}{4} \end{bmatrix}^\mathrm{T} x=[4143]T
【总结】

解题步骤如下:

① 构造罚函数;

② 求出对 x 1 x_1 x1 x 2 x_2 x2的罚函数偏导;

③ 联立两个偏导式,求出驻点,并代回偏导式,得到 x 1 k x^k_1 x1k x 2 k x^k_2 x2k的表达式;

④ 令 M k M_k Mk趋近无穷,得到 x ∗ x^* x


【解】(乘子法)

① 写出增广Lagrange函数;
φ ( x , v k ) = 1 2 x 1 2 + 1 6 x 2 2 + v k ( x 1 + x 2 − 1 ) + c k 2 ( x 1 + x 2 − 1 ) 2 \varphi(x,v^k)=\frac{1}{2}x^2_1+\frac{1}{6}x^2_2+v^k(x_1+x_2-1)+\frac{c_k}{2}(x_1+x_2-1)^2 φ(x,vk)=21x12+61x22+vk(x1+x21)+2ck(x1+x21)2
② 用解析法求驻点;

∂ φ ∂ x 1 = x 1 + v k + c ( x 1 + x 2 − 1 ) = 0 (5) \frac{\partial \varphi}{\partial x_1} = x_1+v^k+c(x_1+x_2-1)=0 \tag{5} x1φ=x1+vk+c(x1+x21)=0(5)

∂ φ ∂ x 2 = 1 3 x 1 + v k + c ( x 1 + x 2 − 1 ) = 0 (6) \frac{\partial \varphi}{\partial x_2} = \frac{1}{3}x_1+v^k+c(x_1+x_2-1)=0 \tag{6} x2φ=31x1+vk+c(x1+x21)=0(6)

联立 ( 5 ) (5) (5) ( 6 ) (6) (6),得到
x 2 = 3 x 1 (7) x_2=3x_1 \tag{7} x2=3x1(7)
( 7 ) (7) (7)代入 ( 5 ) (5) (5)中,得到
x 1 + v k + c ( x 1 + 3 x 1 − 1 ) = 0 ⇒ ( 4 c + 1 ) x 1 + ( v k − c ) = 0 ⇒ x 1 = c − v k 4 c + 1 \begin{aligned} x_1+v^k+c(x_1+3x_1-1) &= 0 \\ \Rightarrow (4c+1)x_1+(v^k-c) &= 0 \\ \Rightarrow x_1 &= \frac{c-v^k}{4c+1} \end{aligned} x1+vk+c(x1+3x11)(4c+1)x1+(vkc)x1=0=0=4c+1cvk
那么, x 2 x_2 x2
x 1 = 3 ( c − v k ) 4 c + 1 x_1 = \frac{3(c-v^k)}{4c+1} x1=4c+13(cvk)
③ 根据乘子迭代公式求下一步的 v k + 1 v^{k+1} vk+1

根据乘子迭代公式,有
v k + 1 = v k + c ( x 1 + x 2 − 1 ) = v k + c ( 4 c − 4 v k 4 c + 1 + 4 c + 1 4 c + 1 ) = v k + c ( 1 + 4 v k 4 c + 1 ) \begin{aligned} v^{k+1} &= v^k+c(x_1+x_2-1) \\ & = v^k + c(\frac{4c-4v^k}{4c+1}+\frac{4c+1}{4c+1}) \\ & = v^k + c(\frac{1+4v^k}{4c+1}) \end{aligned} vk+1=vk+c(x1+x21)=vk+c(4c+14c4vk+4c+14c+1)=vk+c(4c+11+4vk)
c c c取任意值,解出 v k v^k vk的值;

c = 1 c=1 c=1,且 v k → ∞ v^k \to \infty vk,得到
v ∗ = v ∗ − 1 + 4 v ∗ 5 ⇒ v ∗ = − 0.25 \begin{aligned} v^* &= v^* - \frac{1+4v^*}{5} \\ \Rightarrow v^* &= -0.25 \end{aligned} vv=v51+4v=0.25
⑤ 将 c c c v k v^k vk代入点 x k x^k xk中,得出结果
x 1 k = 1 + 1 4 5 = 1 4 , x 2 k = 3 x 1 k = 3 4 x^k_1 = \frac{1+\frac{1}{4}}{5}=\frac{1}{4},\quad x^k_2 = 3x^k_1 = \frac{3}{4} x1k=51+41=41,x2k=3x1k=43

x ∗ = [ 1 4 3 4 ] T x^*=\begin{bmatrix} \frac{1}{4} & \frac{3}{4} \end{bmatrix}^\mathrm{T} x=[4143]T
【总结】

解题步骤如下:

① 写出增广Lagrange函数;

② 用解析法求驻点;

③ 根据乘子迭代公式求下一步的 v k + 1 v^{k+1} vk+1

c c c 取任意值,解出 v k v^k vk 的值;

⑤ 将 c c c v k v^k vk 代入点 x k x^k xk 中,得出结果。

  • 3
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 外点罚函数法是一种非线性规划求解方法,它通过引入罚函数来将约束条件转化为目标函数的一部分,从而将非线性规划问题转化为一个可行域内的有约束的优化问题。下面是一个使用Python实现外点罚函数法求解非线性规划问题的示例代码: ```python import numpy as np from scipy.optimize import minimize # 定义目标函数和约束条件 def objective(x): return x[0]**2 + x[1]**2 def constraint1(x): return -x[0]**2 + x[1] def constraint2(x): return x[0] + x[1]**2 - 1 # 定义罚函数 def penalty(x, r): return r * (max(0, constraint1(x))**2 + max(0, constraint2(x))**2) # 定义外点罚函数法求解函数 def outer_penalty(x0, r0, tol): x = x0 r = r0 while r > tol: # 定义带罚函数的目标函数 def obj_with_penalty(x): return objective(x) + penalty(x, r) # 使用优化算法求解带罚函数的优化问题 res = minimize(obj_with_penalty, x, method='BFGS') # 更新x和r的值 x = res.x r /= 10 return x # 调用函数求解非线性规划问题 x0 = np.array([1, 1]) r0 = 1 tol = 1e-6 x_opt = outer_penalty(x0, r0, tol) print("Optimal solution:", x_opt) ``` 在上面的代码中,我们首先定义了目标函数和约束条件,然后定义了罚函数和外点罚函数法求解函数。最后,我们调用`outer_penalty`函数来求解非线性规划问题。这里我们使用了`scipy.optimize.minimize`函数来求解带罚函数的优化问题,具体的优化算法可以通过`method`参数来指定。在这个例子中,我们使用了BFGS算法。 ### 回答2: 外点罚函数法(Exterior penalty function method)是一种在最优化问题中常用的优化算法,用于求解约束条件下的最优解。这种方法通过引入罚函数来将约束条件转化为目标函数的约束项,从而将原问题转化为无约束问题。 在Python中,可以通过以下步骤实现外点罚函数法: 1. 定义目标函数和约束条件:首先,需要定义目标函数和约束条件。目标函数为需要优化的函数,约束条件为目标函数需要满足的条件。 2. 构建罚函数:根据约束条件,构建相应的罚函数。罚函数需要惩罚目标函数不满足约束条件的情况,一般采用惩罚项的方式。 3. 转化为无约束问题:将目标函数和罚函数相加,得到新的目标函数。原问题转化为求解这个新的目标函数的最优解的问题。 4. 最优化求解:选择合适的最优化算法,如梯度下降法或牛顿法等,对转化后的无约束问题进行求解,找到使得目标函数取得最小值的变量取值。 5. 判断约束条件:得到最优解后,判断是否满足约束条件。如果不满足,调整惩罚函数的参数,再次进行最优化求解,直到满足约束条件为止。 外点罚函数法在Python中的实现可以利用最优化库,如SciPy或CVXPY等,这些库提供了丰富的数学优化函数和方法,方便我们实现外点罚函数法来求解约束优化问题。 总之,外点罚函数法是一种有效的求解约束优化问题的方法,可以通过引入罚函数来转化为无约束优化问题,并使用合适的最优化算法进行求解。在Python中,我们可以利用最优化库来实现外点罚函数法。 ### 回答3: 外点罚函数法是一种用于求解约束优化问题的优化算法。该算法将约束问题转化为无约束问题,通过引入一个罚函数来惩罚目标函数在约束条件上的违反程度。 在Python中,可以使用数值计算库如NumPy和优化库如SciPy来实现外点罚函数法。 首先,我们需要定义目标函数和约束条件。目标函数是我们要优化的函数,约束条件是问题中的限制条件。以一个简单的二维问题为例: 目标函数:f(x, y) = x^2 + y^2 约束条件:g(x, y) = x + y - 1 <= 0 接下来,我们定义罚函数来惩罚目标函数在约束条件上的违反程度。具体实现步骤如下: 1. 定义目标函数和约束函数: ```python def objective(x): return x[0]**2 + x[1]**2 def constraint(x): return x[0] + x[1] - 1 ``` 2. 定义罚函数: ```python def penalty(x, rho): return objective(x) + rho * max(0, constraint(x))**2 ``` 其中,rho是一个罚函数参数,用于控制目标函数和约束函数之间的平衡。 3. 使用优化算法求解罚函数问题,例如使用SciPy库中的优化函数: ```python from scipy.optimize import minimize x0 = [0, 0] # 初始解 rho = 1 # 罚函数参数 # 定义优化问题 problem = {'type': 'eq', 'fun': constraint} # 使用外点罚函数法进行优化 result = minimize(penalty, x0, args=(rho,), constraints=problem) print(result) ``` 在上述代码中,x0是初始解,rho是罚函数参数,problem是定义的优化问题。result是最终的优化结果,包括最优解和最优目标函数值。 通过以上步骤,就可以使用Python实现外点罚函数法来求解约束优化问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值