法卡斯定理(Fakars' Lemma)

定义

  最近在研究WGAN，其中的Wasserstein distance的求解需要用到法卡斯定理，于是特意去了解了一下，也算是对线性代数知识的一个补充。
  法卡斯定理如下：
$$\exists x\in R^n,Ax=bandx\ge 0\text{or}\exists y\in R^d,A^{T}y\le 0and{b}^{T}y>0$$

其中，$A\in R^{d\times n}$, $x\in R^n$,$b\in R^d$.
  接下来我们将证明整个定理。

背景知识

  在证明这个定理之前，我们先来了解几个概念。

• 凸集(Convex set)

  在n维空间中，x与y的线段(line segment)定义如下：
  $$x,y\in R^n,[x,y]:=\lambda x+(1-\lambda )y|\lambda \in [0,1]$$

  凸集定义如下：
  $$\forall x,y\in C,[x,y]\subseteq C,C\subseteq R^n$$

  满足上述条件，则C为凸集。
  图示如下：
  
  上图中左图为凸集，右图不是凸集。

• 分离定理(Separation theorem)

  $A\subseteq R^n,B\subseteq R^n$是不相交的非空凸集，存在一个非零向量v和实数c,使得$$⟨x,v⟩\ge cand⟨y,v⟩\le c$$
  其中，$x\in A,y\in B$,超平面为$⟨\cdot ,v⟩=c$，v是法向量。

• 凸锥(Convex Cone)

  了解凸锥之前我们先来了解一下锥
  对于向量空间V，C是V的子集，如果满足
  $$\forall x\in Cand\alpha >0,\alpha x\in C$$
  那么C是锥。
  对于锥C，如果满足
  $$\forall x,y\in Cand\alpha ,\beta \ge 0,\alpha x+\beta y\in C$$
  那么C是凸锥。

证明

给定矩阵$A\subseteq R^{d\times n}$,我们将其看作n个向量$a_1,...,a_n\in R^d$，给定$x\in R^n(x>0)$, 于是我们得到了一个凸锥$Ax,\forall x>0$

对于一个向量$b\in R^d$，有两种可能，b在上述的凸锥中；b不在上述凸锥中。如果b不再凸锥中，那么我们可以找到一个经过原点的超平面h，h位于b和凸锥之间，h的法向量为$y\in R^d$。b和y处于h的同侧，而凸锥则在h的另一侧，那么我们有$b^{T}y>0$,同时，$a_i^{T}y<0$.
总结以上两种情况，

• $\exists x\in R^n,Ax=bandx\ge 0$
• $\exists y\in R^d,A^{T}y\le 0and{b}^{T}y>0$

参考资料

• Wasserstein GAN and the Kantorovich-Rubinstein Duality