通信理论
文章平均质量分 93
S_o_l_o_n
logic
展开
-
信息量、信息熵、KL散度、交叉熵以及最大似然估计
信息量 信息量最初由香农提出,是通信理论中的一个概念。一个概率事件X的信息量定义如下:I(X) = -log(P(X)), P(X)表示事件X发生的概率。 信息量最初提出来是用来衡量编码一个信号状态需要的比特数(当以2为底数时),在这个信息量定义下,可以得到在一个多信源系统中,为了无损传输,对于多个信源的一次传输的信号的编码所需要的比特数的理论下界。 这是因为,在推导信息量的时候,对于信号的编码方式有三个基本原则,基于这三个基本原则,香农就从数学上直接推导...原创 2021-05-30 10:12:28 · 2328 阅读 · 0 评论 -
信息量和信息熵的理解
信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典的paper《A Mathematical Theory of Communication》中提出的。如今,这些概念不仅仅是通信领域中的基础概念,也被广泛的应用到了其他的领域中,比如机器学习。如果跳出历史语境,跳出逻辑背景,那么这些概念是很抽象的,所以本文旨在结合历史语境,给这些概念提供一个相对直观的解...原创 2019-07-07 22:53:52 · 9685 阅读 · 0 评论