非度量方法（判定树和熵）

首先，来看下什么叫有度量方法。如下：

生活中，有些事物可以用数字去衡量或者代为表示，用于比较同性质的量，这叫度量方法。

    可是，对于整体来讲。不能用量化表示这个整体，比如2两的苹果，它并不等于苹果。所以呢，只能用非度量方法-语义（文字或符号）表示。而对于语义，判定树是一个很好的模型去给它和其他类型标记分类。判定树兼容数字和文字选择方式。

 熵的定义：表示不纯度，即混沌程度。对于分类来讲就是数据的不确定在哪个类别所占比。

举例：H=p(i)log2(pi)

• 假如一组数据有k类信息，那么每一个信息所占的比例就是pipi。比如水果数据包含苹果，香蕉，芒果这三种数据，那么每种水果所占的比例都是1/3。
• 因为pi只可能是小于1的，所以log(pi)始终是负数。所以需要在公式最前面加负号，让整个熵的值大于0。

我们来举几个例子看一下，首先用水果的例子，三种水果各占1/3、1/3、1/3：

{1/3,1/3,1/3}

那么代入信息熵的公式可得：

H=−1/3log(1/3)−1/3log(1/3)−1/3log(1/3)=1.0986

再来看一个例子：

{ 1/10,2/10,7/10}

代入公式可得：

H=−1/10log(1/10)−2/10log(2/10)−7/10log(7/10)=0.8018

从上面两个例子可以看出，第二个例子的信息熵比一个例子的小，那么意味着第二个示例的数据不确定性要低于第一个示例的数据。其实从数据中也能看出，其中有一类信息占全部信息的7/10，所以大多数据是能确定在某一类中的，故而不确定性低。而第一个示例中每类信息都占了全部信息的1/3，所以数据不能很明确的确定是哪类，故而不确定性高。

再来看一个极端的例子，{1,0,0}，将其代入信息熵公式后得到的值是0。因为整个数据中就一种类型的数据，所以不确定性更小，即信息熵达到了0。