信息论基础学习笔记（1）

最新推荐文章于 2024-05-13 18:01:47 发布

前輩的後生

最新推荐文章于 2024-05-13 18:01:47 发布

阅读量697

点赞数 2

分类专栏： QM 文章标签：信息论信息熵量子信息辛钦

本文链接：https://blog.csdn.net/weixin_43991713/article/details/101829275

版权

本文介绍了信息论的基础概念，包括自信息、信息熵和互信息。自信息是确定随机变量特定值所需的信息量，信息熵是随机变量不确定性度量，而互信息则衡量两个随机变量之间的关联程度。通过对这些概念的深入探讨，揭示了信息论在处理不确定性问题中的核心作用。

摘要由CSDN通过智能技术生成

信息论基础学习笔记（1）

前提

信息论主要的研究对象是关于随机变量的信息熵和信道。这里面假设了几点：

存在信息量，它只与随机变量的概率分布有关，满足可加性等性质
信道的本质是密度转移矩阵

这里的信息与0或1出现的顺序无关，只与一列01序列中的概率有关。我们首先定义1比特（bit）（其实信息无关01序列，其他的也可以，这里仅是举例）
$1 b i t 的信息量 : = 区分一枚均匀的硬币是正是反所需要的信息量$
这其实是一种形象的说法，而且是一种自证，并不严格。但是易于理解。

自信息

接下来我们定义 自信息 (self-information)，这其实是非常重要的概念，却常常不被重视。
$I_p(X=x_i)=\log\frac{1}{p(X=x_i)}$
其中，X为随机变量，x_i为随机变量的某个取值，常常x_i为0或1. I的下表表达的是X的概率分布按照 $X\sim p(X)$ 的方式分布的。I 表示的是自信息，意思是一个变量的值先验就是x_i，但是我们不知道，我们知道的是它出现的概率为 $p(X=x_i)$ , 此时需要识别出它所需要的信息量就是如上表达的自信息。同样的我们可以定义联合自信息：
$I_p(X=x_i,Y=y_j)=\log\frac{1}{p(X=x_i,Y=y_j)}$
如果X与Y独立，则：
$\begin{aligned} I_p(X=x_i,Y=y_j)&=\log\frac{1}{p(X=x_i)}+\log\frac{1}{p(X=y_i)}\\ &=I_p(X=x_i)+I_p(Y=y_j) \end{aligned}$