信息量, 信息熵, 信息增益, 互信息, 交叉熵与相对熵

本文介绍了信息量、熵、信息增益等信息论中的核心概念。信息量与事件发生的概率成反比,熵用于衡量事件的不确定性,信息增益则表示得知某一特征信息后对事件不确定性的减少。此外,还探讨了相对熵(KL散度)和交叉熵在损失函数中的应用,以及它们与均方误差函数的区别。
摘要由CSDN通过智能技术生成

信息如何量化?

信息怎么度量, 在生活中当发生某些不可思议的事情, 往往我们会用’信息量大’, 这个词语进行描述。
那么信息量大, 这一词语在对信息量化中, 体现了哪些思路?
1. 当小概率事件发生时, 我们才会感觉’信息量大’
2. 当大概率事件发生时, 我们会感觉’理所应当’, ‘信息量小-正常操作’
已知上述信息量化度量的特点, 如何设置函数使用数学直观的表现信息量的大小?
假设事件 χ χ 是一个离散型随机变量, 其取值集合为 χ χ , 概率函数分布为 p(x)=P(χ=x),xχ,χ=x0:I(x0)=log(p(x0)) p ( x ) = P ( χ = x ) , x ∈ χ , 定 义 事 件 χ = x 0 的 信 息 量 为 : I ( x 0 ) = − log ⁡ ( p ( x 0 ) )
该函数满足: 当一个事件发生的概率越大, 它所携带的信息量就越小, 反之, 当一个事件发生的概率越小, 它所携带的信息量就越小。

熵: 事件不确定性的度量

在了解信息量如何度量之后, 如何确定一个事件发生的不确定性?
例如, 已知小明及格的概率为0.2, 不及格的概率为0.8, 那么小明成绩的不确定性如何度量?
很简单, 对小明考试这一事件的两种可能性求期望, 就可以转换为信息熵
信息熵: 实质上就是对事件的不确定性程度的度量
H(D)=i=1npilog

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值