信息论随笔(三)交互信息量

本文探讨了在两个相关事件中如何量化信息的传递。通过引入条件概率的概念,定义了交互信息量来衡量一个事件能为另一个事件减少多少不确定性,并介绍了三种计算交互信息量的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前讨论了一个事件的自信息量,但是实际情况下往往有多个事件发生,而且这些事件之间相互是有联系的。比如知道一个人踢足球,那么这个人很有可能会看世界杯。也就是说,我们可以通过一个事件获得另外一个事件的信息,或者说,消除另外一个事件的不确定性。(信息量是用来衡量不确定性的。)那么,如何在数学上表示这种情况呢?

考虑事件A和事件B,它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量?

事件B发生前,事件A的信息量(不确定性)I_1log(\frac 1 {P(a)})

事件B发生后,事件A的概率是在事件B发生条件下的概率:P(a|b),事件A的信息量(不确定性)I_2log(\frac 1 {P(a|b)})

那么事件A从事件B中获得的信息量即I_1-I_2。事件A的不确定性被事件B消除了一部分,所以信息量减少了。

I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})

由于P(a|b) = \frac {P(ab)}{P(b)},代入上式可得I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)}),该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的,交互信息量是对称的。

对上个式子进行变形,还可以得到I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})

这个式子可以从系统的整体来看,系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法:I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)

其中H代表信息熵。(单个事件发生时信息熵就是这个事件的自信息量)

内容概要:本文详细介绍了如何使用Matlab对地表水源热泵系统进行建模,并采用粒子群算法来优化每小时的制冷量和制热量。首先,文章解释了地表水源热泵的工作原理及其重要性,随后展示了如何设定基本参数并构建热泵机组的基础模型。接着,文章深入探讨了粒子群算法的具体实现步骤,包括参数设置、粒子初始化、适应度评估以及粒子位置和速度的更新规则。为了确保优化的有效性和实用性,文中还讨论了如何处理实际应用中的约束条件,如设备的最大能力和制冷/制热模式之间的互斥关系。此外,作者分享了一些实用技巧,例如引入混合优化方法以加快收敛速度,以及在目标函数中加入额外的惩罚项来减少不必要的模式切换。最终,通过对优化结果的可视化分析,验证了所提出的方法能够显著降低能耗并提高系统的运行效率。 适用人群:从事暖通空调系统设计、优化及相关领域的工程师和技术人员,尤其是那些希望深入了解地表水源热泵系统特性和优化方法的专业人士。 使用场景及目标:适用于需要对地表水源热泵系统进行精确建模和优化的情景,旨在找到既满足建筑负荷需求又能使机组运行在最高效率点的制冷/制热量组合。主要目标是在保证室内舒适度的前提下,最大限度地节约能源并延长设备使用寿命。 其他说明:文中提供的Matlab代码片段可以帮助读者更好地理解和复现整个建模和优化过程。同时,作者强调了在实际工程项目中灵活调整相关参数的重要性,以便获得更好的优化效果。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值