超级会员免费看
本文深入探讨信息论中的核心概念，包括信息量、信息熵、条件熵和交叉熵。信息熵是衡量随机变量不确定性的度量，条件熵则考虑了在某一条件下的熵。交叉熵用于评估非真实分布表示真实分布所需的信息量，而相对熵（KL散度）衡量两个概率分布的差异。文章通过公式和实例解释了这些概念，并讨论了它们在机器学习中的应用。
一、信息量
信息量是对信息的度量，当我们考虑一个离散的随机变量X的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？
多少信息用信息量来衡量，我们接收道的信息量跟具体发生的事件有关。能消除不确定性的内容才能叫信息。
信息的大小跟随机事件的概率有关：
- 越小概率的事情发生了产生的信息量越大；
- 越大概率的事情发生了产生的信息量越小；
因此一个具体事件的信息量应该是随着其发生概率而递减的，且不能为负，但是这个信息量函数的形式怎么找呢？
如果我们有两个不相关的事件X和Y，那么我们观察到的两个事件同时发生时获得的信息应该等于观察到的事件各自发生时获得的信息之和，即：
h ( x , y ) = h
订阅专栏 解锁全文
680
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
