Darmois-Skitovic定理证明

DS定理在ICA上有着很重要的作用：
独立成分分析FastICA算法原理
本文给出了DS定理的证明。

引理1 设$f_1,...,f_N$可导，并且
$$f_1(a_{1}x+b_{1}y)+f_2(a_{2}x+b_{2}y)\cdots +f_N(a_{N}x+b_{N}y)=A(x)+B(y)\forall x,y$$
其中$a_1...a_N,b_1,...,b_N$是非0常数，而且满足：

$$a_i{b}_j-a_j{b}_i\ne 0,\forall i\ne j$$

则所有函数$f_i$一定是多项式且最多只有N阶。

证明：
我们考虑第N个函数，显然，肯定存在一个变换

$$\begin{array}{c}x\leftarrow x+{\delta }_1^{(1)}\\ y\leftarrow y+{\delta }_2^{(1)}\end{array}$$

使得$a_{N}x+b_{N}y$的值不变，也就是说

$$a_{N}x+b_{N}y=a_{N}x+a_N{\delta }_1^{(1)}+b_{N}y+b_N{\delta }_2^{(1)}$$

这意味着

$$a_N{\delta }_1^{(1)}+b_N{\delta }_2^{(1)}=0$$

而对于其他的项，因为$a_i{b}_j-a_j{b}_i\ne 0$那么他们一定是会发生变化的，即$f_i\left(a_i\left(x+{\delta }_1^{(1)}\right)+b_i\left(y+{\delta }_y^{(1)}\right)\right)-f_i(a_{i}x+b_{i}y)=ϵ>0$。为什么呢？可以想象一下，不变化的条件是什么？如果要不变化，那么其他项的系数一定要满足：

$$\begin{gathered} a_N{\delta }_1^{(1)}+b_N{\delta }_2^{(1)}=0 \\ {a}_i{\delta }_1^{(1)}+b_i{\delta }_2^{(1)}=0 \end{gathered}$$

换句话说：

$$\begin{gathered} a_N{\delta }_1^{(1)}+b_N{\delta }_2^{(1)}=0 \\ {a}_i{\delta }_1^{(1)}+b_i{\delta }_2^{(1)}=0 \\ ⟹\frac{a_N}{b_N}=\frac{a_i}{b_i}=\frac{{\delta }_1^{(1)}}{{\delta }_2^{(1)}} \end{gathered}$$

然后这是不可能的，因为$a_i{b}_j-a_j{b}_i\ne 0$.

因此，进行一阶差分，我们可以得到：

$$\begin{array}{c}{\Delta }_{{ϵ}_1^{(1)}}{f}_1(a_{1}x+b_{1}y)+{\Delta }_{{ϵ}_2^{(1)}}{f}_2(a_{2}x+b_{2}y)\cdots +{\Delta }_{{ϵ}_{N-1}^{(1)}}{f}_{N-1}(a_{N-1}x+b_{N-1}y)\\ =A_1(x)+B_1(y)\forall x,y\end{array}$$

其中

$${\Delta }_{h}f(x)=f(x+h)-f(x)$$

比如，对于

$${\Delta }_{{ϵ}_1^{(1)}}{f}_1(a_{1}x+b_{1}y)=f_1(a_{1}x+b_{1}y+\underset{{ϵ}_1^{(1)}}{\underbrace{a_1{\delta }_1^{(1)}+b_1{\delta }_2^{(1)}}})-f_1(a_{1}x+b_{1}y)$$

注意到，显然第N项消失了，类似地，我们对N-1项做一次二阶差分，那么N-1项也会消失，直到

$${\Delta }_{{ϵ}_1^{(N-1)}}...{\Delta }_{{ϵ}_1^{(2)}}{\Delta }_{{ϵ}_1^{(1)}}{f}_1(a_{1}x+b_{1}y)=A_{N-1}(x)+B_{N-1}(y)$$

接来下，我们分别令x变，y不变，做一次差分：

$${\Delta }_{{ϵ}_1^{(N)}}{\Delta }_{{ϵ}_1^{(N-1)}}...{\Delta }_{{ϵ}_1^{(2)}}{\Delta }_{{ϵ}_1^{(1)}}{f}_1(a_{1}x+b_{1}y)=A_N(x)$$

然后令x不变y边做一次差分

$${\Delta }_{{ϵ}_1^{(N+1)}}{\Delta }_{{ϵ}_1^{(N)}}{\Delta }_{{ϵ}_1^{(N-1)}}...{\Delta }_{{ϵ}_1^{(2)}}{\Delta }_{{ϵ}_1^{(1)}}{f}_1(a_{1}x+b_{1}y)=0$$

最终我们发现，对于任意的x,y,$f_1$在N+1次差分后变成了0（这等价于N+1次求导），这意味着$f_1$一定是一个多项式函数，而且最多只有$N$阶.
证毕。

定理1说明了高斯分布只能由高斯分布相加产生，不可能存在其他分布。（这个与中心极限定理是有点“冲突”。不过实际上，当相加的分布是有限的时候，这个定理是一定成立的）

第二个定理是说明了，如果特征函数满足指数项是多项式的时候，只有高斯分布的随机变量满足。也就是说，如果存在特征函数是$e^{P(w)}$形式的变量，那$P(w)$一定是小于或等于2阶多项式。

最后就是我们要证明的DS定理了。首先，对于那些$a_i{b}_i=0$的项，我们是可以忽略的，因为这意味着$X_i$只出现在一边，所以并不会影响$Y$的独立性。所以我们重点还是考虑$Y$中的$a_i{b}_i\ne 0$项。

证明：
首先，我们可以设$a_i{b}_j-a_j{b}_i\ne 0\to \frac{a_i}{a_j}\ne \frac{b_i}{b_j}$，换句话说，没有等比例的两个$X_i,X_j$，如果有的话，我们完全可以把他们合并成一个随机变量，然后定义一个新的。（那如果这个新的变量是高斯分布，根据L´evy-Cramer定理，合并的这两个变量也是高斯的，所以这并不会影响我们的证明，尽管可以只能证出这个合并后的变量是高斯的，只要$ab\ne 0$）

首先一个随机变量的特征函数可以写作

Φ X ( ω ) = E { e j ω X } \Phi _{X} (\omega )=E\{e^{j\omega X} \} ΦX​(ω)=E{ejωX}

于是对于$Y_1,Y_2$的特征函数为，

$$\begin{array}{rl}{\Phi }_{Y_1,Y_2}({\omega }_1,{\omega }_2)& =E\left\{e^{j{\omega }_1{Y}_1+j{\omega }_2{Y}_2}\right\}\\ & =E\left\{e^{j{\sum }_{i=1}^N({\omega }_1{a}_i+b_i{\omega }_2)X_i)}\right\}\\ & ={\Phi }_{X_1}(a_1{\omega }_1+b_1{\omega }_2){\Phi }_{X_2}(a_2{\omega }_1+b_2{\omega }_2)...{\Phi }_{X_N}(a_N{\omega }_1+b_N{\omega }_2)\end{array}$$

最后一个等式是因为$X$是相互独立的，所以他们的特征函数可以分解。然后又因为$Y_1,Y_2$是独立的，所以

$${\Phi }_{Y_1,Y_2}({\omega }_1,{\omega }_2)={\Phi }_{Y_1}({\omega }_1){\Phi }_{Y_2}({\omega }_2)$$

于是

$${\Phi }_{X_1}(a_1{\omega }_1+b_1{\omega }_2){\Phi }_{X_2}(a_2{\omega }_1+b_2{\omega }_2)...{\Phi }_{X_N}(a_N{\omega }_1+b_N{\omega }_2)={\Phi }_{Y_1}({\omega }_1){\Phi }_{Y_2}({\omega }_2)$$

两边取log

$${\psi }_{X_1}(a_1{\omega }_1+b_1{\omega }_2)+{\psi }_{X_2}(a_2{\omega }_1+b_2{\omega }_2)+...+{\psi }_{X_N}(a_N{\omega }_1+b_N{\omega }_2)={\psi }_{Y_1}({\omega }_1)+{\psi }_{Y_2}({\omega }_2)$$

这个就是我们的引理1了，根据引理1，${\psi }_{X_i}$,${\psi }_{X_j}$一定是一个多项式函数，根据Marcinkiewics-Dugue定理，$X_i,X_j$一定是高斯分布（因为他取了log之后是多项式，所以其指数项是多项式）

我们可以总结一下，只要存在$a_i{b}_i\ne 0$的项，$X_i$一定是高斯分布。
证毕。

参考资料

Babaie-Zadeh, Massoud. “Darmois-Skitovic theorem and its proof.” Sharif University of Technology, Jan (2002).