特征选择
熵的概念:
熵的作用:
用来描述随机变量分布的不确定性。
熵的数学表示:
假设一个样本空间,其中包含n个独立的事件,每个事件发生的概率为。
当每个事件发生的概率相同,此时样本空间的不确定性最高(你几乎无法猜中哪个事件会发生)。
反之,当其中一个事件发生的很大,其余都很小(如),此时事件的不确定性就比较低了,你几乎可以猜中事件1会发生。
那么熵的数学表达式需要具有上述特征。
慢慢努力吧,会继续写的