【计算机科学与技术】信息论笔记（1）：熵、相对熵与互信息

最新推荐文章于 2022-03-14 19:27:59 发布

VIP文章招财猫qwq

最新推荐文章于 2022-03-14 19:27:59 发布

阅读量702

点赞数

分类专栏：计算机科学与技术文章标签：信息熵

本文链接：https://blog.csdn.net/weixin_42711949/article/details/107647441

版权

20200728本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第一章：熵、相对熵与互信息~

1. 熵、相对熵与互信息

1.1 绪论与概述

香农（C.E.Shannon） 于1948年发表论文 “通信的数学理论” 奠定了信息论的基础。
香农第一定理（无失真信源编码定理）：给出编码极限。
香农第二定理（有噪信道编码定理）：传输速率小于信道容量，则误码率可以任意小。
香农第三定理（保失真度准则下的有失真信源编码定理）：给定失真度，只要码字足够长，就可以使编码的失真度小于给定失真度。

1.2 熵

熵的定义：

$H(X)=H\left(p_{1}, p_{2}, \cdots, p_{K}\right)=-\sum_{n=1}^{K} p_{n} \log p_{n}$

一元信源模型：

$\left[\begin{array}{c}X \\ p(x)\end{array}\right]=\left[\begin{array}{cccc}a_{1} & a_{2} & \cdots & a_{K} \\ p\left(a_{1}\right) & p\left(a_{2}\right) & \cdots & p\left(a_{K}\right)\end{array}\right]$

有 $\leq p_n \leq 1$ ， $\sum_{n=1}^K p_n = 1$ 。若 $X\sim p(x)$ ，则随机变量 $g (X)$ 的期望为 $E[g(x)]=\sum g(x)p(x)$ 。随机变量 $X$ 的熵可看为随机变量 $l o g (1 / p (X))$ 的数学期望，其中 $p (x)$ 为 $X$ 的概率密度函数。

熵函数应符合下面三条公理：（1）对称性：交换下标不影响熵值。（2）最大值：等概分布熵值最大。（3）若 $p_K = p_{11} + ... + p_{1i}$ 则两个分布有如下关系：

$H\left(p_{1}, p_{2}, \cdots, p_{K-1}, p_{11}, p_{12}, \cdots, p_{1 l}\right)=H\left(p_{1}, p_{2}, \cdots, p_{k}\right)+p_{k} H\left(\frac{p_{11}}{p_{K}}, \frac{p_{12}}{p_{K}}, \cdots, \frac{p_{1 i}}{p_{K}}\right)$

熵的含义：（1）平均意义：熵是整个集合的统计特性。（2）信息熵： $H (X)$ 表示每个消息提供的平均信息量。（3）随机性：信息熵 $H (X)$ 表征了变量X的随机性。
熵的链式法则：
$H\left(X_{1}, X_{2}, \cdots, X_{n}\right)=\sum_{i=1}^{n} H\left(X_{i} \mid X_{i-1}, \cdots, X_{1}\right)$