名词
中 | ENG |
---|---|
特征选择 | Feature selection |
稀疏表示 | Sparse representation |
相关/无关特征 | Relevant/Irrelevant feature |
冗余特征 | Redundant feature |
子集搜索/子集评价 | Subset search/Subset evaluation |
信息增益 | Information gain |
熵 | Entropy |
熵
1.什么是熵(Entropy)
在 信息论 里面,熵是对不确定性的测量,熵越高,则能传输越多的信息,熵越低,则意味着传输的信息越少。熵度衡量了系统的不确定性,当我们缺乏对某个系统的知识,其不确定性也随着增加。例如 抛硬币,在理想情况下他们无法预测出现的是正面还是反面,此时熵达到最大。但是对于“明天太阳从东方升起”,我们完全可以依靠目前的知识,预测该事件肯定会发生,信息熵最小。
熵的定义为信息的期望值。某个事件用随机变量X表示,其可以的取值{x 1 , x 2 , …x n },则该事件的信息熵定义为: