数学之美
最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。
ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。
第六章 信息的度量和作用
1 信息熵
从一个角度可以认为信息量就等于不确定性的多少。
信息熵（Entropy）,一般用符号H表示，单位是比特。
熵的定义:
变量的不确定性越大，熵也就越大。
文中有个关于冗余度的：重复的内容很多，信息量就小，冗
本文是《数学之美》第六章的个人笔记，主要探讨信息的度量和作用。内容包括信息熵的概念，它是不确定性度量的指标，重复内容的熵较小。信息的作用在于消除不确定性，条件熵揭示了模型复杂度如何降低不确定性。此外，介绍了互信息，用于衡量两个随机事件的关联，并延伸讨论了相对熵（交叉熵）作为衡量概率分布差异的工具。
最低0.47元/天 解锁文章
扫一扫
2773
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
