首先,来看下什么叫有度量方法。如下:
生活中,有些事物可以用数字去衡量或者代为表示,用于比较同性质的量,这叫度量方法。
可是,对于整体来讲。不能用量化表示这个整体,比如2两的苹果,它并不等于苹果。所以呢,只能用非度量方法-语义(文字或符号)表示。而对于语义,判定树是一个很好的模型去给它和其他类型标记分类。判定树兼容数字和文字选择方式。
熵的定义:表示不纯度,即混沌程度。对于分类来讲就是数据的不确定在哪个类别所占比。
举例:H=
p(i)log2(pi)
- 假如一组数据有k类信息,那么每一个信息所占的比例就是pipi。比如水果数据包含苹果,香蕉,芒果这三种数据,那么每种水果所占的比例都是1/3。
- 因为pi只可能是小于1的,所以log(pi)始终是负数。所以需要在公式最前面加负号,让整个熵的值大于0。
我们来举几个例子看一下,首先用水果的例子,三种水果各占1/3、1/3、1/3:
{1/3,1/3,1/3}
那么代入信息熵的公式可得:
H=−1/3log(1/3)−1/3log(1/3)−1/3log(1/3)=1.0986
再来看一个例子:
{ 1/10,2/10,7/10}
代入公式可得:
H=−1/10log(1/10)−2/10log(2/10)−7/10log(7/10)=0.8018
从上面两个例子可以看出,第二个例子的信息熵比一个例子的小,那么意味着第二个示例的数据不确定性要低于第一个示例的数据。其实从数据中也能看出,其中有一类信息占全部信息的7/10,所以大多数据是能确定在某一类中的,故而不确定性低。而第一个示例中每类信息都占了全部信息的1/3,所以数据不能很明确的确定是哪类,故而不确定性高。
再来看一个极端的例子,{1,0,0},将其代入信息熵公式后得到的值是0。因为整个数据中就一种类型的数据,所以不确定性更小,即信息熵达到了0。