面对机器学习的分类问题时,研究数据混淆度所使用的方法主要有两类:1.基于几何统计的角度。2.基于信息论的角度。
几何统计的角度
1. 适用于连续数据集下的数据混淆度指标的算法
(1)最大Fisher判别率F1
F1是待分类的训练数据集当中各个属性的Fisher判别率最大的那个值。
f=(u1−u2)2(α1)2+(α2)2
其中, u1,u2,α1,α2 分别指的是类别1和类别2的平均值与方差。上式中的f被定义为属性的特征维数。对于多维属性,选择f值最大的一个来代表F1。F1在一定意义上代表了数据的线性可分性。数值较
高的F1说明训练数据集当中至少有一个属性具有很好的线性可分度,不过,数值较低的F1也并不能够说明数据就一定具有非线性可分性。
(2)各个属性混叠区域的体积F2
该指标是两类条件分布的尾部混叠。对于每个特征,每个类的最大值和最小值,我们可以通过寻找测量这个,然后计算所跨越这两个类的值的范围内归一化的混叠区域的长度,再乘W从每个特征维度得到的比率,得到测量的混叠区域的体积(归一化的特征空间上的大小)。F2定义如下,假定 max(fi,Cj),min(fi,Cj) 为类别 Cj 中属性 fi 的最大值和最小值,则F2的计算式如下,
F2=∏iMINMAXi−MAXMINiMAXMAXi−MINMINi
其中,
M