HEVC之信息论基础

信息论基础

每获得一部分信息就消除一部分不确定性，从这个意义上来说，信息是对不确定性的消除。概率论中概率就可以描述随机事件的不确定性，因此，信息一定是一个概率的函数。

信息的定义

香农给出的信息的定义：事物运动状态或存在方式不确定性的描述。

使用概率来度量不确定性的大小，则不确定性大小 $f(p(x))$ （$p(x)$ 表示事件发生的概率）应该满足以下 3 个条件：

1. $f(1)=0$。必然事件的不确定性为 0。
2. $f(p(x))$ 是单调递减函数。概率越大，不确定性越小。
3. 独立可加性。$f(p(x)p(y))=f(p(x))+f(p(y))$

概率的倒数取对数即可满足以上条件，这就是香农的自信息量的定义：

$$I(x_i)=log\frac{1}{p(x_i)}$$

$p(x_i)$ 表示信源选择符号 $x_i$ 作为发送消息的概率。以 2 为底时，单位为 bit。以 $e$ 为底时，单位为 nat。以 10 为底时，单位为 Hart。

那么针对一个系统而言，取各随机事件自信息的统计平均来代表其总体信息量。离散随机变量 $X$ 的信息熵 $H(X)$ 定义为：
$$H(X)=-\sum _{x\in X}p(x)\log p(x)$$
将其推广到多个随机变量，则一对离散随机变量 $(X,Y)$ 的联合熵定义为：
$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)$$
并且 $H(X,Y)\le H(X)+H(Y)$，当 $X$ 与 $Y$ 独立时等号成立。当 $X$ 与 $Y$ 相关时，观察 $X$ 就可以消除 $Y$ 的一部分不确定性。

离散随机变量 $X$ 与 $Y$ 的互信息 $I(X;Y)$ 定义为：
$$I(X;Y)=H(X)-H(X|Y)$$
可以理解为：已知 $Y$，对于 $X$ 的不确定性减少程度。也可以扩展成：
$$\begin{gathered} I(X;Y)=H(X)+H(Y)-H(X,Y) \\ =\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)} \end{gathered}$$
当 $X$ 与 $Y$ 独立时，$I(X;Y)=0$；当 $X$ 与 $Y$ 一一映射时，$I(X;Y)=H(X)=H(Y)$。

互信息的基本性质：

1. 对称性：$I(X;Y)=I(Y;X)$
2. 非负性：$I(X;Y)\ge 0$
3. 极值性：$I(X;Y)\le min(H(X),H(Y))$
4. 可加性：$I(X_1,X_2\cdots X_n;Y)={\sum }_{i=1}^{n}I(I_i;Y)$

率失真理论的基本概念

失真函数在输入输出联合空间中取统计平均：
$$D=\sum _{x_i,{\hat{x}}_j}p(x_i)q({\hat{x}}_j|x_i)d(x_i,{\hat{x}}_j)$$
表示给定信源分布和转移概率分布时，信道传输失真总体的平均度量。

针对信源 $X$ 和失真度量 $d(x,\hat{x})$，信息的率失真函数 $R(D)$ 定义为：
$$R(D)=\underset{{\sum }_{x,\hat{x}}p(x)q(\hat{x}|x)d(x,\hat{x})\le D}{\min }I(X;\hat{X})$$
在失真 $D$ 的限制下，最小化输入输出的互信息。

高斯信源的率失真函数

在均方失真度量下，高斯信源的率失真函数是：
$$R(D)=\{\begin{array}{r}\frac{1}{2}\log \frac{{\sigma }^2}{D},0\le D\le {\sigma }^2\\ 0,D>{\sigma }^2\end{array}$$

以下是证明过程：
假设一个随机变量 $X$ 服从高斯分布，则其概率密度函数为：

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

对于一个连续的随机变量，其微分熵为：

$$h(X)=-{\int }_{-\infty }^{+\infty }p(x)\log p(x)dx$$

则：$X$ 的微分熵为：

$$\begin{gathered} h(X)=-{\int }_{-\infty }^{+\infty }p(x)\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})dx \\ =-{\int }_{-\infty }^{+\infty }p(x)\log \frac{1}{\sqrt{2\pi }\sigma }dx-{\int }_{-\infty }^{+\infty }p(x)\log \exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})dx \\ =-{\int }_{-\infty }^{+\infty }p(x)\log \frac{1}{\sqrt{2\pi }\sigma }dx+\log e{\int }_{-\infty }^{+\infty }p(x)\frac{(x-\mu {)}^2}{2{\sigma }^2}dx \\ =-\frac{\log \frac{1}{\sqrt{2\pi }\sigma }}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }\sqrt{2}\sigma \exp (-(\frac{(x-\mu )}{\sqrt{2}\sigma }{)}^2)d(\frac{x-\mu }{\sqrt{2}\sigma })+\frac{\log e}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\frac{(x-\mu {)}^2}{2{\sigma }^2}dx \\ =\log (\sqrt{2\pi }\sigma )+\frac{\log e}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }-\frac{(x-\mu )}{2}d(\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})) \\ =\log (\sqrt{2\pi }\sigma )-\frac{1}{2}\frac{\log e}{\sqrt{\pi }}{\int }_{-\infty }^{+\infty }\frac{(x-\mu )}{\sqrt{2}\sigma }d(\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})) \\ =\log (\sqrt{2\pi }\sigma )-\frac{\log e}{2\sqrt{\pi }}(0-{\int }_{-\infty }^{+\infty }\exp (-\frac{(x-\mu {)}^2}{\sigma })d(\frac{x-\mu }{\sqrt{2}\sigma })) \\ =\log (\sqrt{2\pi }\sigma )+\frac{\log e}{2} \\ =\frac{1}{2}\log (2\pi e{\sigma }^2) \end{gathered}$$

注：${\int }_{-\infty }^{+\infty }\exp (-x^2)dx=\sqrt{\pi }$。

因此，互信息 $I(X;\hat{X})$：
$$\begin{gathered} I(X;\hat{X})=h(X)-h(X|\hat{X}) \\ =\frac{1}{2}\log (2\pi e{\sigma }^2)-h(X-\hat{X}|\hat{X})（\hat{X}已知，所以减去\hat{X}不影响h(X|\hat{X})的值） \\ \ge \frac{1}{2}\log (2\pi e{\sigma }^2)-h(X-\hat{X}) \\ \ge \frac{1}{2}\log (2\pi e{\sigma }^2)-h(N(0,E(X-\hat{X}{)}^2))（h(X-\hat{X})与h(N(0,E(X-\hat{X}{)}^2))具有相同方差） \\ \ge \frac{1}{2}\log (2\pi e{\sigma }^2)-\frac{1}{2}\log (2\pi eD)（(X-\hat{X}{)}^2表示平方意义下的失真，必须小于D） \\ =\frac{1}{2}\log \frac{{\sigma }^2}{D} \end{gathered}$$