信息论笔记—熵

最新推荐文章于 2022-10-30 22:34:24 发布

pku_zzy

最新推荐文章于 2022-10-30 22:34:24 发布

阅读量1.8k

点赞数

分类专栏： Machine Learing

本文链接：https://blog.csdn.net/PKU_ZZY/article/details/73730177

版权

本文是关于熵的笔记，详细介绍了熵在热力学和信息论中的公理化定义，包括热力学中的混乱度和信息论中的不确定性。通过公理化定义和解法，推导出熵的一般形式H(p(x))=E(logp(x)1)。讨论了条件熵、联合熵、相对熵、互信息和马尔可夫链中的熵，阐述了熵在通信和数据处理中的作用。最后，探讨了熵的凹凸性以及在马尔可夫链中的不等式。

摘要由CSDN通过智能技术生成

信息论笔记—熵

熵的热力学公理化定义

公理化定义

熵的引入可以从热力学上引入，做如下公理化定义:
　　系统有 $\Omega$ 等概率个微观状态，熵 $H(\Omega)$ 必定满足以下性质:
　　 $H(\Omega_1\Omega_2)=H(\Omega_1)+H(\Omega_2)$
　　且由于连续性，该性质定义域可延拓到实数。
　　 $1\ bit$

公理化定义依据

把有 $\Omega_1\Omega_2$ 个等概率状态的微观系统确定状态 $y)(0\le x <\Omega_1,0\le y <\Omega_2,)$ ，可以分两次确定每个维度再使用乘法原理，两次独立询问的信息总和就是总信息。所以有公理化性质 $H(\Omega_1\Omega_2)=H(\Omega_1)+H(\Omega_2)$ 。

解法

根据公理化性质 $H(\Omega_1\Omega_2)=H(\Omega_1)+H(\Omega_2)$ ，外加 $H(2)=1\ bit$ 的初始条件条件和定义利用柯西法延拓到有理数，再利用连续性和实数的完备性延拓到实数上转化为一个柯西方程，柯西方程的解法可以参见专业书籍。利用标准的柯西方法解得 $H(\Omega)=log\Omega$ 。
　　所以热力学上的熵 $Q=kln\Omega，k为波尔兹曼常数$ 。

熵的信息论公理化定义

公理化定义

信息论中熵用来刻画不确定性，先考虑离散情形，一个系统有m个状态，概率分布为 $p_k$ ，则熵 $H(p_1,p_2,...,p_n)$ 应该满足以下性质:
　　 $H(p_1,p_2,p_3,...p_m)=H(p_1+p_2,p_3,...,p_m)+(p_1+p_2)H({p_1\over p_1+p_2},{p_2\over p_1+p_2})$