熵越大,数据的不确定性越高;熵越小,数据的不确定性越低。
在每一个结点上,都希望在某一个维度上基于某一个阈值进行划分,让数据划分成两部分后,系统整体的信息熵降低(也就是让系统变的更加确定)。
基尼系数:
基尼系数的意义和信息熵相同。
二分类基尼系数函数:
熵越大,数据的不确定性越高;熵越小,数据的不确定性越低。
在每一个结点上,都希望在某一个维度上基于某一个阈值进行划分,让数据划分成两部分后,系统整体的信息熵降低(也就是让系统变的更加确定)。
基尼系数的意义和信息熵相同。
二分类基尼系数函数: