本文介绍了熵在信息论中的概念，作为不确定性度量，熵越高表示信息量越大，反之则越小。熵定义为随机变量的不确定性，而条件熵是在特定条件下随机变量的不确定性。信息增益则是熵减去条件熵，用于衡量信息不确定性减少的程度，常用于特征选择过程。
名词
| 中 | ENG |
|---|---|
| 特征选择 | Feature selection |
| 稀疏表示 | Sparse representation |
| 相关/无关特征 | Relevant/Irrelevant feature |
| 冗余特征 | Redundant feature |
| 子集搜索/子集评价 | Subset search/Subset evaluation |
| 信息增益 | Information gain |
| 熵 | Entropy |
熵
1.什么是熵（Entropy）
在 信息论 里面，熵是对不确定性的测量，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。熵度衡量了系统的不确定性，当我们缺乏对某个系统的知识，其不确定性也随着增加。例如 抛硬币，在理想情况下他们无法预测出现的是正面还是反面，此时熵达到最大。但是对于“明天太阳从东方升起”，我们完全可以依靠目前的知识，预测该事件肯定会发生，信息熵最小。
熵的定义为信息的期望值。某个事件用随机变量X表示，其可以的取值{x 1 , x 2 , …x n }，则该事件的信息熵定义为：
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
