最优化理论与方法-第十讲割平面法

1. 原问题：

给定下列约束优化问题：
( P )      min ⁡    3 x 1 2 + 2 x 2 2 s t .      − 5 x 1 − 2 x 2 + 3 ≤ 0 ,      x ∈ X = { x ∈ Z n ∣ 8 x 1 + 8 x 2 ≥ 1 , 0 ≤ x 1 ≤ 1 , 0 ≤ x 2 ≤ 2 } \begin{equation}\begin{aligned} &(P)\; \;\min\; 3x_1^2+2x_2^2\\ &st.\;\;-5x_1-2x_2+3\le 0,\\ &\;\;x\in X=\{x\in Z^n\big| 8x_1+8x_2\ge1,0\le x_1 \le 1,0\le x_2 \le 2\} \end{aligned}\end{equation} ​(P)min3x12​+2x22​st.−5x1​−2x2​+3≤0,x∈X={x∈Zn ​8x1​+8x2​≥1,0≤x1​≤1,0≤x2​≤2}​​​
给定$X^1=\{(1,1{)}^T\}$,利用外逼近法求解其对偶问题

• 因为x为整数，所以我们可以依次根据约束问题求解出所有的点
  X = { x 0 = ( 0 , 1 ) , x 1 = ( 0 , 2 ) x 2 = ( 1 , 0 ) x 3 = ( 1 , 1 ) x 4 = ( 1 , 2 ) } \begin{equation} X=\{x_0=(0,1),x_1=(0,2)x_2=(1,0)x_3=(1,1)x_4=(1,2)\} \end{equation} X={x0​=(0,1),x1​=(0,2)x2​=(1,0)x3​=(1,1)x4​=(1,2)}​​
• 构造拉格朗日函数：
  $$\begin{array}{c}f(x)=3x_1^2+2x_2^2,g(x)=-5x_1-2x_2+3\end{array}$$
• 构建对偶问题
  ( D )      max ⁡ λ > 0 d ( λ ) d ( λ ) = min ⁡ x ∈ X L ( x , λ ) L ( x , λ ) = 3 x 1 2 + 2 x 2 2 + λ ( − 5 x 1 − 2 x 2 + 3 ) X = { x 0 = ( 0 , 1 ) , x 1 = ( 0 , 2 ) , x 2 = ( 1 , 0 ) , x 3 = ( 1 , 1 ) , x 4 = ( 1 , 2 ) } \begin{equation}\begin{aligned} &(D)\; \;\max\limits_{\lambda >0} d(\lambda)\\ &d(\lambda)=\min\limits_{x\in X}L(x,\lambda)\\ &L(x,\lambda)=3x_1^2+2x_2^2+\lambda(-5x_1-2x_2+3)\\ &X=\{x_0=(0,1),x_1=(0,2),x_2=(1,0),x_3=(1,1),x_4=(1,2)\} \end{aligned}\end{equation} ​(D)λ>0max​d(λ)d(λ)=x∈Xmin​L(x,λ)L(x,λ)=3x12​+2x22​+λ(−5x1​−2x2​+3)X={x0​=(0,1),x1​=(0,2),x2​=(1,0),x3​=(1,1),x4​=(1,2)}​​​
• 将 X 代入可得：
  $$\begin{array}{c}\begin{array}{rl}& L(x_0,\lambda )=2+\lambda \\ & L(x_1,\lambda )=8-\lambda \\ & L(x_2,\lambda )=3-2\lambda \\ & L(x_3,\lambda )=5-4\lambda \\ & L(x_4,\lambda )=11-6\lambda \end{array}\end{array}$$
• 画图可得：·图形法

• 根据图形可以求出最大值可得：
  

2. 割平面法程序步骤

• 程序迭代法：
• 第一次迭代 step1:：
  将 $X^1=\{(1,1)\}$代入拉格朗日函数：$L(x_3,\lambda )=5-4\lambda$
  $$\begin{array}{c}\begin{array}{rl}& (D)\underset{\lambda \ge 0}{\max }\theta \\ & st:\theta \le 5-4\lambda ,\lambda \ge 0\end{array}\end{array}$$
  根据定义可得，在${\lambda }_1=0$,可得 $\max \theta ={\theta }_1=5$

2.1 第一次迭代

• 第一次迭代 step2:：
  将${\lambda }_1=0$代入到对偶函数：
  d ( λ ) = min ⁡ x ∈ X L ( x , λ ) = { 2 + λ , 8 − λ , 3 − 2 λ , 5 − 4 λ , 11 − 6 λ } \begin{equation}\begin{aligned} &d(\lambda)=\min\limits_{x\in X}L(x,\lambda)=\{2+\lambda,8-\lambda,3-2\lambda ,5-4\lambda,11-6\lambda\} \end{aligned}\end{equation} ​d(λ)=x∈Xmin​L(x,λ)={2+λ,8−λ,3−2λ,5−4λ,11−6λ}​​​
• 可得最小值为$d({\lambda }_1=0)=2$,并且是$x_1=(0,1)$这个点取得最小。
• 第一次迭代 step3:：
  判断 $d({\lambda }_1)=2$ 与 ${\theta }_1=5$之间的大小关系,不相等，算法继续迭代
• 第一次迭代 step4:：新增约束点：$X^2=X^1\cup \{(0,1)\}$
• 第二次迭代 step1:：以$X^2$作为约束条件
• 第二次迭代 step1:：
  将 $X^1=\{(1,1)(0,1)\}$代入拉格朗日函数：$L(x_3,\lambda )=5-4\lambda ;L(x_3,\lambda )=2+\lambda$
  $$\begin{array}{c}\begin{array}{rl}& (D)\underset{\lambda \ge 0}{\max }\theta \\ & st:\theta \le 5-4\lambda ,\lambda \ge 0\\ & st:\theta \le 2+\lambda ,\lambda \ge 0\end{array}\end{array}$$
  根据定义可得，在${\lambda }_1=\frac{3}{5}$,可得 $\max \theta ={\theta }_2=\frac{13}{5}$

2.2 第二次迭代

• 第二次迭代 step2:：
  将${\lambda }_1=\frac{3}{5}$代入到对偶函数：
  d ( λ 2 ) = min ⁡ x ∈ X 2 L ( x , λ ) = { 2 + λ , 8 − λ , 3 − 2 λ , 5 − 4 λ , 11 − 6 λ } \begin{equation}\begin{aligned} &d(\lambda_2)=\min\limits_{x\in X^2}L(x,\lambda)=\{2+\lambda,8-\lambda,3-2\lambda ,5-4\lambda,11-6\lambda\} \end{aligned}\end{equation} ​d(λ2​)=x∈X2min​L(x,λ)={2+λ,8−λ,3−2λ,5−4λ,11−6λ}​​​
• 可得最小值为$d({\lambda }_2=\frac{3}{5})=\frac{9}{5}$,并且是$x_2=(1,0)$这个点取得最小。
• 第二次迭代 step3:：
  判断 $d({\lambda }_2)=\frac{9}{5}$ 与 ${\theta }_2=\frac{13}{5}$之间的大小关系,不相等，算法继续迭代,并且我们发现其中在$x_2=(1,0)$这个点取得最小，所以我们将其加入 { 3 − 2 λ } \{3-2\lambda\} {3−2λ}到约束中
• 第二次迭代 step4:：新增约束点：$X^3=X^2\cup \{(1,0)\}=\{(1,1),(0,1),(1,0)\}$

2.3 第三次迭代

• 第三次迭代 step1:：以$X^3$作为约束条件
• 第三次迭代 step1:：
  将 $X^1=\{(1,1)(0,1),(1,0)\}$代入拉格朗日函数：$L(x_3,\lambda )=5-4\lambda ;L(x_3,\lambda )=2+\lambda ，L(x_3,\lambda )=3-2\lambda$
  $$\begin{array}{c}\begin{array}{rl}& (D)\underset{\lambda \ge 0}{\max }\theta \\ & st:\theta \le 5-4\lambda ,\lambda \ge 0\\ & st:\theta \le 2+\lambda ,\lambda \ge 0\\ & st:\theta \le 3-2\lambda ,\lambda \ge 0\end{array}\end{array}$$
  根据定义可得，在${\lambda }_3=\frac{1}{3}$,可得 $\max \theta ={\theta }_3=\frac{7}{3}$
• 第三次迭代 step2:：
  将${\lambda }_3=\frac{1}{3}$代入到对偶函数：
  d ( λ 2 ) = min ⁡ x ∈ X 2 L ( x , λ ) = { 2 + λ , 8 − λ , 3 − 2 λ , 5 − 4 λ , 11 − 6 λ } \begin{equation}\begin{aligned} &d(\lambda_2)=\min\limits_{x\in X^2}L(x,\lambda)=\{2+\lambda,8-\lambda,3-2\lambda ,5-4\lambda,11-6\lambda\} \end{aligned}\end{equation} ​d(λ2​)=x∈X2min​L(x,λ)={2+λ,8−λ,3−2λ,5−4λ,11−6λ}​​​
• 可得最小值为$d({\lambda }_3=\frac{1}{3})=\frac{9}{5}$,并且是$x_2=(1,0)$这个点取得最小。
• 第三次迭代 step3:：
  判断 $d({\lambda }_3)=\frac{7}{3}$ 与 ${\theta }_3=\frac{7}{3}$之间的大小相等，算法停止