特征选择 熵

特征选择

熵的概念：

熵的作用：

用来描述随机变量分布的不确定性。

熵的数学表示：

假设一个样本空间，其中包含n个独立的事件，每个事件发生的概率为。

当每个事件发生的概率相同，此时样本空间的不确定性最高（你几乎无法猜中哪个事件会发生）。

反之，当其中一个事件发生的很大，其余都很小（如）,此时事件的不确定性就比较低了，你几乎可以猜中事件1会发生。

那么熵的数学表达式需要具有上述特征。

                                                                                   

 

慢慢努力吧，会继续写的