人工智能入门-R语言数据分析与数据挖60

熵是什么？

ß熵（Entropy）由“信息论之父”香农提出，是指系统的混乱程度。

ß系统越无序、越混乱，熵就越大。

Þ当节点很纯时（只有一个类的样本），其度量值为0

Þ当不纯性最大时（所有类都有同样可能），其度量值最大

 

 

计算一下熵