机器学习 -- 决策树（Ⅰ熵）

一.定义

熵：是表示随机变量不确定性的度量（即物体内部的混乱程度）。

二.举例

假设有两个集合：

A={1,2,1,1,1,1,2,1,1,1}，B={1,2,3,4,5,6,7,8,9,1}。

显然A集合的熵值较低，因为A中只有两种类别，相对稳定一些。

三.大小

熵：不确定性越大，熵值就越大。

当p = 0或p = 1时，H(p) = 0，随机变量完全没有不确定性。

当p = 0.5时，H(p) = 1，此时随机变量的不确定性最大。