Minimax Theorem

Minimax Theorem

本文目录

• 本文目录
• PNE or MNE
• NE Equivalent Condition
• Minimax Theorem Proof
  • Brouwer Fixed Point Theorem
  • Hahn Banach Thorem
  • Heine Borel Theorem

---

PNE or MNE

                 +----------------+----------------+
                 |    L    (q)    |    R  (1 - q)  |
+----------------+----------------+----------------+
|    U    (p)    |     a    c     |     e    g     |
+----------------+----------------+----------------+
|    D  (1 - p)  |     b    d     |     f    h     |
+----------------+----------------+----------------+

注

$(a-b>0\wedge f-e>0)\vee (a-b<0\wedge f-e<0)$ 时, 一定有 $\frac{f-e}{a-b+f-e}\in (0,1)$.
$(c-g>0\wedge h-d>0)\vee (c-g<0\wedge h-d<0)$ 时, 一定有 $\frac{h-d}{c-g+h-d}\in (0,1)$.

---

收益函数和最优反应如下:

$\begin{array}{rl}{U}_1(p,q)& =p\left[qa+(1-q)e\right]+(1-p)\left[qb+(1-q)f\right]\\ & =p\left[(a-b+f-e)q-(f-e)\right]+\left[q(b-f)+f\right]\end{array}$

$\{\begin{array}{llcc}& p=\{\begin{array}{ll}1,& >\\ [0,1],& q=\frac{f-e}{a-b+f-e}\\ 0,& <\end{array},& & a-b>0\wedge f-e>0\\ & p\equiv 1,& & a-b>0\wedge f-e<0\\ & p=\{\begin{array}{ll}0,& >\\ [0,1],& q=\frac{f-e}{a-b+f-e}\\ 1,& <\end{array},& & a-b<0\wedge f-e<0\\ & p\equiv 0,& & a-b<0\wedge f-e>0\\ & p=\{\begin{array}{ll}0,& q<1\\ [0,1],& q=1\end{array},& & a-b=0\wedge f-e>0\\ & p=\{\begin{array}{ll}1,& q<1\\ [0,1],& q=1\end{array},& & a-b=0\wedge f-e<0\\ & p=\{\begin{array}{ll}[0,1],& q=0\\ 1,& q>0\end{array},& & a-b>0\wedge f-e=0\\ & p=\{\begin{array}{ll}[0,1],& q=0\\ 0,& q>0\end{array},& & a-b<0\wedge f-e=0\\ & p\equiv [0,1],& & a-b=0\wedge f-e=0\end{array}$

$\begin{array}{rl}{U}_2(q,p)& =q\left[pc+(1-p)d\right]+(1-q)\left[pg+(1-p)h\right]\\ & =q\left[(c-g+h-d)p-(h-d)\right]+\left[p(g-h)+h\right]\end{array}$

$\{\begin{array}{llcc}& q=\{\begin{array}{ll}1,& >\\ [0,1],& p=\frac{h-d}{c-g+h-d}\\ 0,& <\end{array},& & c-g>0\wedge h-d>0\\ & q\equiv 1,& & c-g>0\wedge h-d<0\\ & q=\{\begin{array}{ll}0,& >\\ [0,1],& p=\frac{h-d}{c-g+h-d}\\ 1,& <\end{array},& & c-g<0\wedge h-d<0\\ & q\equiv 0,& & c-g<0\wedge h-d>0\\ & q=\{\begin{array}{ll}0,& p<1\\ [0,1],& p=1\end{array},& & c-g=0\wedge h-d>0\\ & q=\{\begin{array}{ll}1,& p<1\\ [0,1],& p=1\end{array},& & c-g=0\wedge h-d<0\\ & q=\{\begin{array}{ll}[0,1],& p=0\\ 1,& p>0\end{array},& & c-g>0\wedge h-d=0\\ & q=\{\begin{array}{ll}[0,1],& p=0\\ 0,& p>0\end{array},& & c-g<0\wedge h-d=0\\ & q\equiv [0,1],& & c-g=0\wedge h-d=0\end{array}$

---

特别地 $\neg [(a-b=0\wedge f-e=0)\vee (c-g=0\wedge h-d=0)]$ 时, 可以画图分析如下:

---

统计PNE个数(即?P)和MNE个数(即?M)如下:

        +-------+-------+-------+-------+-------+-------+-------+-------+-------+
        | a-b>0 | a-b>0 | a-b<0 | a-b<0 | a-b=0 | a-b=0 | a-b>0 | a-b<0 | a-b=0 |
        |   &   |   &   |   &   |   &   |   &   |   &   |   &   |   &   |   &   |
        | f-e>0 | f-e<0 | f-e<0 | f-e>0 | f-e>0 | f-e<0 | f-e=0 | f-e=0 | f-e=0 |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g>0 |       |       |       |       |       |       |       |       |       |
|   &   | 2P 1M | 1P 0M | 0P 1M | 1P 0M | 2P #M | 1P #M | 2P #M | 1P #M | 2P #M |
| h-d>0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g>0 |       |       |       |       |       |       |       |       |       |
|   &   | 1P 0M | 1P 0M | 1P 0M | 1P 0M | 2P #M | 2P #M | 1P 0M | 1P 0M | 2P #M |
| h-d<0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g<0 |       |       |       |       |       |       |       |       |       |
|   &   | 0P 1M | 1P 0M | 2P 1M | 1P 0M | 1P #M | 2P #M | 1P #M | 2P #M | 2P #M |
| h-d<0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g<0 |       |       |       |       |       |       |       |       |       |
|   &   | 1P 0M | 1P 0M | 1P 0M | 1P 0M | 1P 0M | 1P 0M | 2P #M | 2P #M | 2P #M |
| h-d>0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g=0 |       |       |       |       |       |       |       |       |       |
|   &   | 2P #M | 2P #M | 1P #M | 1P 0M | 2P 0M | 2P #M | 3P #M | 2P #M | 3P #M |
| h-d>0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g=0 |       |       |       |       |       |       |       |       |       |
|   &   | 1P #M | 2P #M | 2P #M | 1P 0M | 2P #M | 3P #M | 2P #M | 2P 0M | 3P #M |
| h-d<0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g>0 |       |       |       |       |       |       |       |       |       |
|   &   | 2P #M | 1P 0M | 1P #M | 2P #M | 3P #M | 2P #M | 2P 0M | 2P #M | 3P #M |
| h-d=0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g<0 |       |       |       |       |       |       |       |       |       |
|   &   | 1P #M | 1P 0M | 2P #M | 2P #M | 2P #M | 2P 0M | 2P #M | 3P #M | 3P #M |
| h-d=0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+
| c-g=0 |       |       |       |       |       |       |       |       |       |
|   &   | 2P #M | 2P #M | 2P #M | 2P #M | 3P #M | 3P #M | 3P #M | 3P #M | 4P #M |
| h-d=0 |       |       |       |       |       |       |       |       |       |
+-------+-------+-------+-------+-------+-------+-------+-------+-------+-------+

---

分析如下:

• 不存在PNE

  不存在PNE(即0P)仅限于两种情形, 而这两种情形恰好是 “纯策略最优反应” 完全不重合的两种情形. 因此我们得出结论: 只要 “纯策略最优反应” 有重合, 那么就一定存在PNE; 如果 “纯策略最优反应” 不重合, 那么就不存在PNE.

  由此我们得出结论: 不存在PNE(只存在MNE)当且仅当 “纯策略最优反应” 完全不重合. 这一命题总是成立.

  以下是不存在PNE(即0P)的两种情形, 已经用中括号框出 “纯策略最优反应”.

  • $(a-b>0\wedge f-e>0)\wedge (c-g<0\wedge h-d<0)$

                     +----------------+----------------+
                     |    L    (q)    |    R  (1 - q)  |
    +----------------+----------------+----------------+
    |    U    (p)    |    [a]   c     |     e   [g]    |
    +----------------+----------------+----------------+
    |    D  (1 - p)  |     b   [d]    |    [f]   h     |
    +----------------+----------------+----------------+
    

  • $(a-b<0\wedge f-e<0)\wedge (c-g>0\wedge h-d>0)$

                     +----------------+----------------+
                     |    L    (q)    |    R  (1 - q)  |
    +----------------+----------------+----------------+
    |    U    (p)    |     a   [c]    |    [e]   g     |
    +----------------+----------------+----------------+
    |    D  (1 - p)  |    [b]   d     |     f   [h]    |
    +----------------+----------------+----------------+
    

• 不存在MNE

  不存在MNE(即0M)没有 “覆盖整个概率测度空间” 的规律, 但是可以归纳出一些 “几乎完全覆盖整个概率测度空间” 的规律. 如果我们忽视所有 $?-?=0$ 的情形, 所有不存在MNE的情形 当且仅当 $(a-b>0\wedge f-e<0)\vee (a-b<0\wedge f-e>0)\vee (c-g>0\wedge h-d<0)\vee (c-g<0\wedge h-d>0)$. 注意到:

  • 整个概率测度空间 $\Delta ={\Delta }_p\times {\Delta }_q$ 是二维的, 所有等式约束相应的概率测度子空间都是一维甚至零维的, 而在二维测度空间中可数个一维或者零维子空间测度之和为零.
  • $(a-b>0\wedge f-e<0)\vee (a-b<0\wedge f-e>0)\vee (c-g>0\wedge h-d<0)\vee (c-g<0\wedge h-d>0)$ 的实际含义依次是: U严格占优D; D严格占优U; L严格占优R; R严格占优L.

  由此我们得出结论: 不存在MNE(只存在PNE) 当且仅当 存在严格占优纯策略. 这一命题几乎总是成立. (这一命题成立的概率子空间的测度 $|{\Delta }_{\text{成立}}|$ 等于 整个概率测度空间的测度 $|\Delta |$)

  以下是忽视所有 $?-?=0$ 的情形的子表, 已经用中括号框出不存在MNE(即0M)的情形.

          +-------+-------+-------+-------+
          | a-b>0 | a-b>0 | a-b<0 | a-b<0 |
          |   &   |   &   |   &   |   &   |
          | f-e>0 | f-e<0 | f-e<0 | f-e>0 |
  +-------+-------+-------+-------+-------+
  | c-g>0 |       |   ++++|       |   ++++|
  |   &   | 2P 1M | 1P[0M]| 0P 1M | 1P[0M]|
  | h-d>0 |       |   ++++|       |   ++++|
  +-------+-------+-------+-------+-------+
  | c-g>0 |   ++++|   ++++|   ++++|   ++++|
  |   &   | 1P[0M]| 1P[0M]| 1P[0M]| 1P[0M]|
  | h-d<0 |   ++++|   ++++|   ++++|   ++++|
  +-------+-------+-------+-------+-------+
  | c-g<0 |       |   ++++|       |   ++++|
  |   &   | 0P 1M | 1P[0M]| 2P 1M | 1P[0M]|
  | h-d<0 |       |   ++++|       |   ++++|
  +-------+-------+-------+-------+-------+
  | c-g<0 |   ++++|   ++++|   ++++|   ++++|
  |   &   | 1P[0M]| 1P[0M]| 1P[0M]| 1P[0M]|
  | h-d>0 |   ++++|   ++++|   ++++|   ++++|
  +-------+-------+-------+-------+-------+
  

• 总结如下:

  1. 不存在PNE(只存在MNE) 当且仅当 “纯策略最优反应” 完全不重合. 这一命题总是成立.
  2. 不存在MNE(只存在PNE) 当且仅当 存在严格占优纯策略. 这一命题"几乎总是成立.
  3. (推论) “纯策略最优反应” 完全不重合时, 不存在严格占优纯策略; 存在严格占优纯策略时, “纯策略最优反应” 有重合. 这一命题"几乎总是成立.
  4. (推论) “纯策略最优反应” 有重合 而且 不存在严格占优纯策略时, 既存在PNE又存在MNE. 这一命题"几乎总是成立.

---

NE Equivalent Condition

选取 $p^{\ast }$ 使得 $\underset{q}{\min }U(p^{\ast },q)=\underset{p}{\max }\underset{q}{\min }U(p,q)$
选取 $q^{\ast }$ 使得 $\underset{p}{\max }U(p,q^{\ast })=\underset{q}{\min }\underset{p}{\max }U(p,q)$

$\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)⟹\text{MNE}$

由于 $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$
因此 $\underset{q}{\min }U(p^{\ast },q)=\underset{p}{\max }U(p,q^{\ast })$

• 由于 $\forall p\in {\Delta }_p$, $U(p,q^{\ast })⩽\underset{p}{\max }U(p,q^{\ast })=\underset{q}{\min }U(p^{\ast },q)⩽U(p^{\ast },q^{\ast })$
  因此 $p^{\ast }$ 是 $q^{\ast }$ 的最优反应

• 由于 $\forall q\in {\Delta }_q$, $U(p^{\ast },q)⩾\underset{q}{\min }U(p^{\ast },q)=\underset{p}{\max }U(p,q^{\ast })⩾U(p^{\ast },q^{\ast })$
  因此 $q^{\ast }$ 是 $p^{\ast }$ 的最优反应

因此 $(p^{\ast },q^{\ast })$ 构成纳什均衡.

$\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)⟸\text{MNE}$

由于 $U(p,q)⩽\underset{p}{\max }U(p,q)$
所以 $\underset{q}{\min }U(p,q)⩽\underset{q}{\min }\underset{p}{\max }U(p,q)$
进而 $\underset{p}{\max }\underset{q}{\min }U(p,q)⩽\underset{q}{\min }\underset{p}{\max }U(p,q)$
亦即 $\underset{q}{\min }U(p^{\ast },q)⩽\underset{p}{\max }U(p,q^{\ast })$ ※

• 由于 $p^{\ast }$ 是 $q^{\ast }$ 的最优反应
  因此 $\forall p\in {\Delta }_p$, $U(p,q^{\ast })⩽U(p^{\ast },q^{\ast })$

• 由于 $q^{\ast }$ 是 $p^{\ast }$ 的最优反应
  因此 $\forall q\in {\Delta }_q$, $U(p^{\ast },q)⩾U(p^{\ast },q^{\ast })$

进而 $\forall p\in {\Delta }_p$, $\forall q\in {\Delta }_q$, $U(p^{\ast },q)⩾U(p^{\ast },q^{\ast })⩾U(p,q^{\ast })$
亦即 $\underset{q}{\min }U(p^{\ast },q)⩾U(p^{\ast },q^{\ast })⩾\underset{p}{\max }U(p,q^{\ast })$ ※

进而 $\underset{q}{\min }U(p^{\ast },q)⩾U(p^{\ast },q^{\ast })=\underset{p}{\max }U(p,q^{\ast })$
进而 $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$

---

Minimax Theorem Proof

• minimax 定理的形式化

  Δ p = { p ∣ p ≽ 0 , p 1 T = 1 } \Delta_p = \{p | p \succcurlyeq 0, p1^T=1 \} Δp​={p∣p≽0,p1T=1}, Δ q = { q ∣ q ≽ 0 , q 1 T = 1 } \Delta_q = \{q | q \succcurlyeq 0, q1^T=1 \} Δq​={q∣q≽0,q1T=1}, $\Delta ={\Delta }_p\times {\Delta }_q$
  $U:\Delta \to \mathbb{R}$, $U$ 连续, 对 $p$ 凹, 对 $q$ 凸
  要求证明 $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$

  能力所限, 只考虑欧几里得空间的情形
  一般的情况, 简单列出, 不予证明

  ${\Delta }_p,{\Delta }_q$ 是巴拿赫的空间的紧凸子集, $\Delta ={\Delta }_p\times {\Delta }_q$
  $U:\Delta \to \mathbb{R}$, $U$ 对 ${\Delta }_p$ 上半连续, 对 ${\Delta }_q$ 下半连续, 下列条件满足其一

  • $U$ 对 $p$ 拟凹(quasi-convex), 对 $q$ 拟凸(quasi-concave)
  • $U$ 对 $p$ 类凹(convex-like), 对 $q$ 类凸(concave-like)
    $\forall p_1,p_2$, $\forall t\in [0,1]$, $\exists p_0$, $tU(p_1,q)+(1-t)U(p_2,q)⩽U(p_0,q)$
    $\forall q_1,q_2$, $\forall t\in [0,1]$, $\exists q_0$, $tU(p,q_1)+(1-t)U(p,q_2)⩾U(p,q_0)$

  要求证明 $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$

• minimax 定理的证明主要有两种方法

  • 纯粹的拓扑方法, 主要使用布劳威尔不动点定理(Brouwer fixed-point theorem)
    主要证明思路是:

    1. 纳什均衡总是存在
       (直接使用纳什一九五零年初次证明纳什均衡存在性的方法, 参考 John Nash, Non-Cooperative Games, Annals of Mathematics, Vol. 54, No. 2, September, 1951)

    2. 如果纳什均衡 $(p^{\ast },q^{\ast })$ 存在, 那么 $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$.

  • 纯粹的拓扑方法没有体现 minimax 问题的特殊性, 尤其没有体现 $U(p,q)$ 的凹凸性, 是数学上的牛刀杀鸡, 因此数学家一直在探索尽可能初等的证明方法. 不使用布劳威尔不动点定理, 主要有两种代表性的证明方法:

    • 偏向代数的拓扑方法, 主要使用哈恩-巴拿赫定理(Hahn–Banach theorem)
      主要证明思路是:

      1. 哈恩-巴拿赫定理(Hahn–Banach theorem) ⟹ 超平面分离定理(separating hyperplane theorem) ⟹ Slater条件(Slater’s Condition)
      2. 将 minimax 定理归结为一个凸优化问题的拉格朗日强对偶性(strong duality of lagrangian)

    • 偏向分析的拓扑方法, 主要使用海涅-博雷尔定理(Heine–Borel theorem)
      主要证明思路是:

      1. 海涅-博雷尔定理(Heine–Borel theorem) ⟹ 一定条件下, 有限交集性质(finite intersection property)蕴含无穷交集性质
      2. $U(p,q)$ 的水平集(level sets), 具有有限交集性质, 进而具有无穷交集性质
      3. 无穷交集的元素具有类似鞍点的性质, 这样就证明了 minimax 定理

---

Brouwer Fixed Point Theorem

能力所限, 只考虑欧几里得空间的情形
一般的情况, 简单列出, 不予讨论

欧几里得空间的布劳威尔不动点定理(Brouwer fixed-point theorem)
欧几里得空间的紧凸子集 $X$, 连续函数 $f:X\to X$, 则 $\exists x\in X$, $f(x)=x$

欧几里得空间的布劳威尔不动点定理存在初等证明, 例如基于斯波那引理(Sperner’s lemma)的证明

欧几里得空间的角谷不动点定理(Kakutani fixed-point theorem)
欧几里得空间的紧凸子集 $X$, 映射 $f:X\to \mathcal{P}(X)$, $f(x)$ 是非空凸集, $\{(x,z)|x\in f(x)\}$ 是闭集, 则 $\exists x\in X$, $x\in f(x)$

简单列出, 不予讨论

巴拿赫空间的布劳威尔不动点定理(Brouwer fixed-point theorem)
又称勒雷-绍德尔不动点定理(Leray-Schauder fixed-point theorem)
巴拿赫的空间的紧凸子集 $X$, 连续函数 $f:X\to X$, 则 $\exists x\in X$, $f(x)=x$

简单列出, 不予讨论

$\Delta ={\Delta }_p\times {\Delta }_q$ 也是紧凸集

注意到 ${\Delta }_p,{\Delta }_q$ 是紧凸子集, 显然

$[[x]]=\{\begin{array}{ll}x& x⩾0\\ 0& x<0\end{array}$
$(e_i{)}_k=\{\begin{array}{ll}1& k=i\\ 0& k\ne i\end{array}$
${\varphi }_i^{\ast }:\Delta \to [0,+\infty )$
${\varphi }_i^p(p,q)=[[U(e_i,q)-U(p,q)]]$
${\varphi }_i^q(p,q)=[[-U(p,e_i)+U(p,q)]]$
${\Psi }^{\ast }:\Delta \to {\Delta }_{\ast }$
$[{\Psi }^p(p,q){]}_i=\frac{p_i+{\varphi }_i^p(p,q)}{1+\sum _j{\varphi }_j^p(p,q)}$
$[{\Psi }^q(p,q){]}_i=\frac{q_i+{\varphi }_i^q(p,q)}{1+\sum _j{\varphi }_j^q(p,q)}$
$\Psi :\Delta \to \Delta$
$\Psi (p,q)=({\Psi }^p(p,q),{\Psi }^q(p,q))$

$\Psi$ 是连续函数

连续函数有限次复合或者四则运算生成的函数仍是连续函数
$[[\cdot ]]$, $U$, 都是连续函数
${\varphi }^{\ast }$, ${\Psi }^{\ast }$, $\Psi$ 因此也是连续函数
特别指出 ${\Psi }^{\ast }$ 的所有分母非负

如果 $p$ 是一个概率分布, 那么 ${\Psi }^p(p,q)$ 也是一个概率分布
如果 $q$ 是一个概率分布, 那么 ${\Psi }^q(p,q)$ 也是一个概率分布

显然

$\Delta$ 上 $\Psi$ 存在不动点 $(p^{\ast },q^{\ast })=\Psi (p^{\ast },q^{\ast })$

注意到欧几里得空间的布劳威尔不动点定理, 显然

欧几里得空间中, 波雷尔紧(任何开覆盖存在有限开覆盖) ⟺ 自列紧(任何点列存在收敛子列) ⟺ 有界闭集
注: 紧集的根本定义是波雷尔紧

拓扑学基本定理, 不证

$U$ 在 $\Delta$ 上存在最大值和最小值, 因此也存在相应的最值点

注意到紧集通过连续函数形成的像(image)仍是紧集
前文已证 $\Delta$ 是紧集, 因此 $\Delta$ 通过连续函数 $U$ 形成的像 U ( Δ ) = { u ∣ u = U ( p , q ) , ( p , q ) ∈ Δ } U(\Delta) = \{u | u = U(p,q), (p,q) \in \Delta\} U(Δ)={u∣u=U(p,q),(p,q)∈Δ} 也是紧集
注意到 $U(\Delta )\subseteq \mathbb{R}$, 根据欧几里得空间波雷尔紧集和有界闭集的等价性, $U(\Delta )$ 是闭区间
因此 $U$ 存在最值(闭区间端点), 进而也存在相应的最值点

不动点 ⟹ 纳什均衡

使用反证法
如果 $(p^{\ast },q^{\ast })$ 是不动点, 但不是纳什均衡

• 如果存在 $\exists p^{+}$, $U(p^{+},q^{\ast })>U(p^{\ast },q^{\ast })$
  进而 $\exists i$, ${\varphi }_i^p(p^{\ast },q^{\ast })>0$ (否则 $U(p^{+},q^{\ast })=U(\sum _j(p^{+}{)}_j{e}_j,q^{\ast })⩽U(p^{\ast },q^{\ast })$)
  进而 ${\Psi }^p(p^{\ast },q^{\ast })\ne p^{\ast }$
  进而 $(p^{\ast },q^{\ast })$ 不是不动点, 矛盾!
• 如果存在 $\exists q^{+}$, $U(p^{\ast },q^{+})<U(p^{\ast },q^{\ast })$
  进而 $\exists i$, ${\varphi }_i^p(p^{\ast },q^{\ast })>0$ (否则 $U(p^{\ast },q^{+})=U(p^{\ast },\sum _j(q^{+}{)}_j{e}_j)⩾U(p^{\ast },q^{\ast })$)
  进而 ${\Psi }^q(p^{\ast },q^{\ast })\ne q^{\ast }$
  进而 $(p^{\ast },q^{\ast })$ 不是不动点, 矛盾!

纳什均衡 ⟹ $\underset{p}{\max }\underset{q}{\min }U(p,q)=\underset{q}{\min }\underset{p}{\max }U(p,q)$

根据 [不动点 ⟹ 纳什均衡] 我们知道:

$\forall p$, $U(p,q^{\ast })⩽U(p^{\ast },q^{\ast })$
$\forall q$, $U(p^{\ast },q)⩾U(p^{\ast },q^{\ast })$

所以

$U(p,q^{\ast })⩽U(p^{\ast },q)$

由于 $p,q$ 任取, 所以

${\max }_{p}U(p,q^{\ast })⩽{\min }_{q}U(p^{\ast },q)$

此时, 左侧再取min, 更小, 不影响不等式; 右侧再取max, 更大, 不影响不等式

${\min }_{q^{\ast }}{\max }_{p}U(p,q^{\ast })⩽{\max }_{p}U(p,q^{\ast })⩽{\min }_{q}U(p^{\ast },q)⩽{\max }_{p^{\ast }}{\min }_{q}U(p^{\ast },q)$

由于 min-max >= max-min 总是成立, 而此时我们有 min-max <= max-min, 因此 min-max == max-min

注: 由于 $p^{\ast },q^{\ast }$ 实际上是 brouwer 得到的产物, 与 min-max 或者 max-min 的选取方式无关, 因此

${\min }_q{\max }_{p}U(p,q)⩽{\max }_{p}U(p,q^{\ast })$

${\min }_{q}U(p^{\ast },q)⩽{\max }_p{\min }_{q}U(p,q)$

前文写成${\min }_{q^{\ast }},{\max }_{p^{\ast }}$只是为了方便阅读

---

Hahn Banach Thorem

能力所限, 只考虑欧几里得空间的情形
一般的情况, 简单列出, 不予证明

哈恩-巴拿赫定理(Hahn–Banach theorem)
$X$ 是线性空间, $Z$ 是 $X$ 的线性子空间

$p:X\to \mathbb{R}$ 是次线性泛函, 即:

• $p(x+y)⩽p(x)+p(y)$
• $p(tx)=tp(x)$

$f_Z:Z\to \mathbb{R}$ 是线性泛函, 即:

• $f_Z(x+y)⩽f_Z(x)+f_Z(y)$
• $f_Z(tx)=t{f}_Z(x)$

$\forall x\in Z$, $f_Z(x)⩽p(x)$

$\exists f_X:X\to \mathbb{R}$, 是线性泛函, 而且满足:

• $\forall x\in Z$, $f_X(x)=f_Z(x)$
• $\forall x\in X$, $f_X(x)⩽p(x)$

哈恩-巴拿赫定理直接基于佐恩引理(Zorn’s lemma)证明
注: 佐恩引理等价于选择公理(Axiom of Choice), 是数学(ZFC set theory)的公理之一

超平面分离定理(separating hyperplane theorem)
$X$ 是欧几里得, $W$ 是 $X$ 的凸子集, 固定任意 $x_1\notin W$
$\exists \ell :X\to \mathbb{R}$, 是线性泛函, 而且满足:

• $\ell (x_1)=1$
• $\forall w\in W$, $\ell (w)<1$

固定任意 $w_0\in W$, 定义 p ( x ) = inf ⁡ r { r ∣ [ w 0 + 1 r ( x − w 0 ) ] ∈ W } p(x) = \inf\limits_r\{r | [w_0 + \frac{1}{r} (x-w_0)] \in W\} p(x)=rinf​{r∣[w0​+r1​(x−w0​)]∈W}
易证 $p$ 次线性
定义 Z ( { x 1 } ) = { z ∣ z = t 1 x 1 + ( 1 − t 1 ) w 0 } Z(\{x_1\}) = \{z | z=t_1x_1+(1-t_1)w_0\} Z({x1​})={z∣z=t1​x1​+(1−t1​)w0​}
定义 f Z ( { x 1 } ) ( z ) = t 1 f_{Z(\{x_1\})}(z) = t_1 fZ({x1​})​(z)=t1​, 如果 $z=t_1{x}_1+(1-t_1)w_0$
易证 f Z ( { x 1 } ) f_{Z(\{x_1\})} fZ({x1​})​ 满足要求:

• f Z ( { x 1 } ) ( x 1 ) = 1 f_{Z(\{x_1\})}(x_1) = 1 fZ({x1​})​(x1​)=1
• ∀ w ∈ W ∩ Z ( { x 1 } ) \forall{w \in W \cap Z(\{x_1\})} ∀w∈W∩Z({x1​}), f Z ( { x 1 } ) ( w ) < 1 f_{Z(\{x_1\})}(w) < 1 fZ({x1​})​(w)<1

固定任意 $x_2\notin W$, 使得 $\{(x_1-w_0),(x_2-w_0)\}$ 线性无关
定义 Z ( { x 1 , x 2 } ) = { z ∣ z = t 2 x 2 + ( 1 − t 2 ) ( t x 1 + ( 1 − t ) w 0 ) } Z(\{x_1,x_2\}) = \{z | z=t_2x_2+(1-t_2)(tx_1+(1-t)w_0)\} Z({x1​,x2​})={z∣z=t2​x2​+(1−t2​)(tx1​+(1−t)w0​)}
根据哈恩-巴拿赫定理, 获得 f Z ( { x 1 , x 2 } ) f_{Z(\{x_1,x_2\})} fZ({x1​,x2​})​

• f Z ( { x 1 } ) ( x 1 ) = 1 f_{Z(\{x_1\})}(x_1) = 1 fZ({x1​})​(x1​)=1
• ∀ w ∈ W ∩ Z ( { x 1 , x 2 } ) \forall{w \in W \cap Z(\{x_1,x_2\})} ∀w∈W∩Z({x1​,x2​}), f Z ( { x 1 , x 2 } ) ( w ) < 1 f_{Z(\{x_1,x_2\})}(w) < 1 fZ({x1​,x2​})​(w)<1

注: 此处的证明必须注意到

• $p(x_1)=1$
• ∀ w ∈ W ∩ Z ( { ⋯   } ) \forall{w \in W \cap Z(\{\cdots\})} ∀w∈W∩Z({⋯}), $p(w)<1$, f Z ( { ⋯   } ) ( w ) ⩽ p ( w ) < 1 f_{Z(\{\cdots\})}(w) \leqslant p(w) < 1 fZ({⋯})​(w)⩽p(w)<1

与此同理, 扩展 Z ( { ⋯   } ) Z(\{\cdots\}) Z({⋯}), 直到 Z ( { ⋯   } ) = X Z(\{\cdots\}) = X Z({⋯})=X

Slater条件(Slater’s Condition)

未完待续, 参考 Stephen Boyd & Lieven Vandenberghe, “Convex Optimization” (https://web.stanford.edu/~boyd/cvxbook/), 式(5.41), 参考 Borwein M. Jonathan, “A very complicated proof of the minimax theorem” (Minimax Theory and its Applications 1.1 (2016): 21-27)

---

Heine Borel Theorem

能力所限, 只考虑欧几里得空间的情形
一般的情况, 简单列出, 不予证明

海涅-博雷尔定理(Heine–Borel theorem)

有限交集性质(finite intersection property) ⟹ 无穷交集性质

$U(p,q)$ 的水平集(level sets), 具有有限交集性质, 进而具有无穷交集性质

未完待续, 参考 I. Joó, “A simple proof for von Neumann’s minimax theorem” (Acta Sci. Math 42 (1980): 91-94.), 参考 Bela Sz.-Nagy, “Introduction to real functions and orthogonal expansions” (https://archive.org/details/introductiontore00szok/page/40/mode/2up), 31-42页.