在一篇鲁棒优化相关的论文中,看到了 minimax inequality,又称作 max-min 不等式。查了一下,原来在拉格朗日对偶中应用过,写篇博客总结一下。
对于任意函数: f : X × Y → R f:X\times Y\rightarrow\mathbb{R} f:X×Y→R,
sup x ∈ X inf y ∈ Y f ( x , y ) ≤ inf y ∈ y sup x ∈ X f ( x , y ) \sup_{x\in X} \inf_{y\in Y}f(x,y)\leq \inf_{y\in y}\sup_{x\in X} f(x,y) x∈Xsupy∈Yinff(x,y)≤y∈yinfx∈Xsupf(x,y)
其中, x x x 与 y y y 都可以是向量,上面的式子也可以写成 max 或 min 形式:
max x ∈ X min y ∈ Y f ( x , y ) ≤ min y ∈ y max x ∈ X f ( x , y ) \max_{x\in X} \min_{y\in Y}f(x,y)\leq \min_{y\in y}\max_{x\in X} f(x,y) x∈Xmaxy∈Yminf(x,y)≤y∈yminx∈Xmaxf(x,y)
证明过程稍微有点绕,但比较简洁,
证明:
对 于 ∀ x , ∀ y , 有 min y ∈ Y f ( x , y ) ≤ f ( x , y ) ⇒ 对 于 ∀ y , 有 max x ∈ X min y ∈ Y f ( x , y ) ≤ max x ∈ X f ( x , y ) ⇒ max x ∈ X min y ∈ Y f ( x , y ) ≤ min y ∈ y max x ∈ X f ( x , y ) □ 对于~\forall x, \forall y, 有 \min_{y\in Y}f(x,y) \leq f(x,y)\\ \Rightarrow 对于~\forall y, 有\max_{x\in X} \min_{y\in Y}f(x,y) \leq \max_{x\in X} f(x,y)\\ \Rightarrow \max_{x\in X} \min_{y\in Y}f(x,y)\leq \min_{y\in y}\max_{x\in X} f(x,y) \qquad \Box 对于 ∀x,∀y,有y∈Yminf(x,y)≤f(x,y)⇒对于 ∀y,有x∈Xmaxy∈Yminf(x,y)≤x∈Xmaxf(x,y)⇒x∈Xmaxy∈Yminf(x,y)≤y∈yminx∈Xmaxf(x,y)□
注:还有一个 max-min 定理,在鞍点处,不等式取等号。
这个 max-min 不等式也可以根据拉格朗日弱对偶定理直接得出来。1
2