信息量和熵 - 总结

总结一下
离散变量：

	离散变量
	非平均自信息量	平均自信息量 - 熵
自信息	$I(x_k)=log\frac{1}{q(x_k)}=-logq(x_k)$	{ X , q ( x ) } \{X, q(x)\} {X,q(x)} : $H(x)=\sum q(x)\ast I(x)=-\sum q(x)\ast logq(x)$
条件自信息	$I(u_1|u_2)=-logp(u_1|u_2)$	{ Y , ω ( y ) } \{Y, \omega(y)\} {Y,ω(y)} : $H(X|Y)=MH(X|y)=\sum \omega (y)H(X|y)=-\sum _x\sum _{y}p(xy)\ast logp(x|y)$
联合自信息	$I(xy)=-logp(xy)$	{ X Y , p ( x y ) } \{XY, p(xy)\} {XY,p(xy)} : $H(XY)=MI(xy)=\sum _x\sum _{y}p(xy)\ast I(xy)=-\sum _x\sum _{y}p(xy)\ast logp(xy)$
	非平均互信息	平均互信息量
互信息	$I(x_k;y_j)=log\frac{p(x_i|y_j)}{q(x_k)}$	$I(X;y)=M_{x}I(x;y)=\sum _{x}p(x|y)\ast log\frac{p(x|y)}{q(x)}$ (一对多映射)
互信息		$I(X;Y)=M_{XY}I(x;y)=\sum _{xy}p(xy)\ast log\frac{p(x|y)}{q(x)}$ (多对多映射)
		注： 大写字母为集合，小写字母为某一特定事件。
性质		非负性 、 对称性：$I(X;Y)⩾0$ ； $I(X;Y)=I(Y;X)$
平均互信息的性质	非负性：	$I(X;Y)⩾0$
	对称性 / 互易性：	$I(X;Y)=I(Y;X)$； $I(X;Y|Z)=I(Y;X|Z)$
	极值性、凸函数性。
相互间关系		$I(XY；Z)=I(X;Z)+I(Y;Z|X)=I(Y;Z)+I(X;Z|Y)$
		$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$
		$I(X;Y)⩽H(X)$
		$I(X;Y)⩽H(Y)$
		$H(XY)=H(X)+H(Y)$
		平均条件互信息量
条件互信息		$I(X;Y|Z)=M_{xyz}\ast I(x;y|z)=\sum _x\sum _y\sum _{z}p(xyz)\ast log\frac{p(x|yz)}{p(x|z)}$

概率密度：

xy的概率密度：	$P_{XY}(xy)=P_X(x)\ast P_{Y|X}(y|x)$
x的概率密度	$P_X(x)=-{\int }_{-\infty }^{+\infty }{P}_{XY}(xy)dy$
y的概率密度	$P_Y(y)=-{\int }_{-\infty }^{+\infty }{P}_{XY}(xy)dx$

连续随机变量：

	互信息量	平均互信息量
互信息	$I(x;y)=\underset{\Delta x\to 0,\Delta y\to 0,}{\lim }log\frac{P_{XY}(xy)\Delta x\Delta y}{P_X(x)\Delta x{P}_Y(y)\Delta y}=log\frac{P_{XY}(xy)}{P_X(x)\ast P_Y(y)}$	$I(X;Y)={\int }_{-\infty }^{+\infty }{P}_{XY}(xy)\ast log\frac{P_{XY}(xy)}{P_X(x)\ast P_Y(y)}dxdy$
	平均互信息I(X;Y)克服了互信息量$I(x_i;y_j)$的随机性， 成为一个确定的量。	因此，可以作为信道中流通信息量的整体测度。
条件互信息	$I(x;y|z)=log\frac{P_{XY|Z}(xy|z)}{P_{X|Z}(x|z)\ast P_{Y|Z}(y|z)}=log\frac{P_{Y|XZ}(y|xz)}{P_{Y|Z}(y|z)}=log\frac{P_{X|YZ}(x|yz)}{P_{X|Z}(x|z)}$	$I(X;Y|Z)=\iiint P_{XYZ}(xyz)\ast log\frac{P_{XY|Z}(xy|z)}{P_{X|Z}(x|Z)\ast P_{Y|Z}(y|z)}dxdydz$
		$I(XY;Z)=\iiint P_{XYZ}(xyz)\ast log\frac{P_{XYZ}(xyz)}{P_{XY}(xy)\ast P_Z(z)}dxdydz$
平均互信息的性质	非负性：	$I(X;Y)⩾0$
	对称性 / 互易性：	$I(X;Y)=I(Y;X)$； $I(X;Y|Z)=I(Y;X|Z)$
	极值性、凸函数性。
	相互间关系	$I(XY；Z)=I(X;Z)+I(Y;Z|X)=I(Y;Z)+I(X;Z|Y)$
		互信息实际上是更广泛的相对熵的特殊情形。
相对熵		$H_c(x)=-{\int }_{-\infty }^{+\infty }{P}_X(x)\ast log{P}_X(x)$
X ~ U(a,b)		$H_c(x)={\int }_a^b\frac{1}{b-a}dx=ln(b-a)$
X~U(Ka, Kb)		$H_c(x)={\int }_{Ka}^{Kb}\frac{1}{Kb-Ka}lnK(b-a)dx=lnK(b-a)$
X~N(m, ${\sigma }^2)$		$H_c(x)=\frac{1}{2}ln2\pi e{\sigma }^2$
联合事件XY的相对熵		$H_c(XY)=-\int \int p(xy)\ast logp(xy)dxdy$
联合事件XY的条件熵		$H_c(X|Y)=-\int \int p(xy)\ast logp(x|y)dxdy$
各种熵的关系		$H_c(XY)=H_c(X)+H_c(Y|X)=H_c(Y)+H_c(X|Y)$
平均互信息和各类熵的关系		$I(X;Y)=H_c(X)-H_c(X|Y)=H_c(Y)-H_c(Y|X)=H_c(X)+H_c(Y)-H_c(XY)$