信息论——熵，散度，Wasserstein distance

#信息熵
$H(x)=-{\int }_{x}P(x)log(P(x))dx$

信息熵表示一个随机变量在经过随机事件结果，随机变量状态量的大小。

---

#条件熵

表示的是在已知随机变量X的前提下，随机变量Y的信息熵，注意X是随机变量。

$H(Y|X)={\sum }_{x,y}p(x,y)log\frac{p(x)}{p(x,y)}$

链式法则：

$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

---

#互信息

由链式法则，$H(X)-H(X|Y)=H(Y)-H(Y|X)$

互信息$I(X;Y)=H(X)-H(X|Y)$
$=H(x)+H(Y)-H((X,Y))$
$={\sum }_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$
表示的是一个随机变量X信息量有多少是关于X,Y互相包含的信息。

---

#距离函数

定义一个集合元素之间的距离的函数。

d:$x\ast x->[0,+\infty )$并且满足以下条件：

1. d(x,y)>=0
2. d(x,y)=0<=>x=y
3. d(x,y) = d(y,x)
4. d(x,z)<=d(x,y)+d(y,z)

---

#Total Variation distance (TV)

$\theta (P,Q)=su{p}_{A\in F}|P(A)-Q(A)|$

描述两个分布的距离，L1正则化。

---

KL divergence

1. KL不具有对称性，KL(P||Q) != KL(Q||P).
2. KL不具有可比性，K(P||Q)>KL(R||Q)，不能说明分布P更接近Q.
   $KL(P||Q)=-{\int }_{x}P(x)log\frac{Q(x)}{P(x)}dx$
   描述的是两个分布之间的相似性。但是有以上缺点

---

#f-divergence
$D_f(p||q)=\int q(x)f(\frac{p(x)}{q(x)})dx$
当f取-log时，f散度是KL散度

---

Jensen-Shanno divergence

$JSD(P||Q)=0.5\ast KL(P||M)+0.5\ast KL(Q||M)M=0.5\ast (P+Q)$

1. JS散度和互信息有相关性
2. JS散度范围是[0,1]
3. JS散度具有可比性
   描述的是两个分布之间的距离。

---

#Wasserstein distance

描述的是从分布P(x)移动到分布Q(x)所需要的最小代价。

$W_p(u,v)=in{f}_{r\in T(u,v)}{\int }_{M\ast M}(d(x,y){)}^{p}dr(x,y{)}^p$

r(x,y)是要满足的约束。