两个类别间可靠性差异的差异指标

两个类别间可靠性差异的差异指标

用于可靠性分类的差异指标

本部分提出一种基于矩矩阵分析的差异指标用于可靠的分类。在此，可靠性用于描述矩矩阵相对于分类样本分组的可变性。特别地，如果从训练集生成的矩矩阵与验证集生成的矩矩阵具有相同的属性，则称该矩矩阵在训练集和验证集之间是可靠的。需要注意的是，模型参数，例如提出的差异指标，由验证集确定。然而，一个分类器的泛化性能是基于测试集获得的。验证集和测试集之间没有重叠，因此训练过程中不涉及测试数据。

通过广义特征值分解（GED），我们提出差异指标显示两个矩矩阵之间的差异。广义特征值分解找到了一个公共的线性变换矩阵，该矩阵同时对角化了两个矩矩阵。特殊地，令${\text{S}}_{tr}$和${\text{S}}_{va}$分别表示从测试集和验证集产生的对称矩矩阵。首先，${\text{S}}_{tr}$通过奇异值（SVD）分解表示为${\text{S}}_{tr}=\text{U}{\text{D}}_{tr}{\text{U}}^T$其中$\text{U}$是正交矩阵，${\text{D}}_{tr}$是一个对角矩阵。假设${\text{D}}_{tr}$满秩并定义$\text{P}:=\text{U}{\text{D}}_{tr}^{\frac{-1}{2}}$，${\text{S}}_{tr}$满足${\text{P}}^T{\text{S}}_{tr}\text{P}=\text{I}$。不失一般性地，${\text{D}}_{tr}$地对角元素降序排列。然后，${\text{P}}^T{\text{S}}_{va}\text{P}$做如下分解${\text{P}}^T{\text{S}}_{va}\text{P}=\text{V}{\text{D}}_{va}{\text{V}}^T$，其中$\text{V}$是正交矩阵，${\text{D}}_{va}$为对角矩阵。基于以上两个步骤，${\text{S}}_{va}$可以明确的对角化为${\text{V}}^T{\text{P}}^T{\text{S}}_{va}\text{P}\text{V}={\text{D}}_{va}$。最后，定义$\text{A}=\text{PV}={\text{UD}}_{tr}^{\frac{-1}{2}}\text{V}$且$\text{A}$可以直接展示两个矩阵的全局对角化为
$${\text{A}}^T{\text{S}}_{tr}\text{A}=\text{I},{\text{A}}^T{\text{S}}_{va}\text{A}={\text{D}}_{va}\text{\hspace{1em}(1)}$$.
总之，${\text{S}}_{tr}$和${\text{S}}_{va}$能够被同一个变换矩阵$\text{A}$对角化为$I$和${\text{D}}_{va}$。

使用广义特征值分解比较矩阵的想法如图1所示。由于${\text{S}}_{tr}$和${\text{S}}_{va}$被同一个变换矩阵$\text{A}$转化为相应的对角矩阵，通过使用两个对角形式的矩阵比较这两个矩阵成为可能。换句话说，${\text{S}}_{tr}$和${\text{S}}_{va}$之间的差异可以通过两个变换后的矩阵$I$和${\text{D}}_{va}$的对角元素的差异进行评估。由于$I$是单位矩阵，${\text{D}}_{va}$的对角元素的值正好是与单位对角元素的比率，因此它们可以表示差异。

为了详细说明该思想，采用实际数据集来说明${\text{S}}_{tr}$和${\text{S}}_{va}$之间的差异。实际数据集“ WDBC”是从UCI数据库中获得的[9]。 且该数据集具备代表性，并且我们发现其他数据集也具有相似的属性。
WDBC集总共包含569个样本，其中包括357个正样本和212个负样本，样本维度为30。整个数据集被随机分为两个相等的子集，分别用于训练和验证。基于这两个子集生成${\text{S}}_{tr}$和${\text{S}}_{va}$，并且同时分别对角化为矩阵$I$和${\text{D}}_{va}$。 为了考虑统计差异，将随机分区和同时对角化的过程重复100次。

图2(a)显示了来自100次试验的$I$和${\text{D}}_{va}$对角元素的平均值。 从该图中可以看出，被比较的矩阵的每对对角元素之间都存在很大的差异。 注意，大的差异（${\text{D}}_{va}$的大对角元素）构成了差异总和的大部分内容。因此，基于差异的大部分内容，一个差异指标被定义为
$$DI(\beta )=\sum _{i=1}^{\lceil n\times \beta \rceil }|d_{va}(i)-1|\text{\hspace{1em}(2)}$$，其中$n$表示$D$的维度，$\lceil \cdot \rceil$表示整数舍入运算符,$|\cdot |$是运算符的绝对值，$d_{va}(i)$表示${\text{D}}_{va}$的第$i$个对角元素，且$\beta \in [0,1]$表示差异的大部分内容所占差异总和的比例。为了显示比率参数$\beta$对$DI(\beta )$的影响，图2（b）绘制了来自100次试验的差异指标的平均值随$\beta$的变化情况。
从该图可以明显看出，差异指标提供了一种定量方法，用于测量图2（a）中对角元素之间的相对差异。 可以看出$DI(\beta )$的平均值是$\beta$的单调递增函数。 随着$\beta$的增加，计算中将涉及更多对角线元素，并且差异指标$DI(\beta )$接近总差异之和。 下一小节中，将表明选择一个简单的$\beta$（例如$\beta =0.5$）就足以采用$DI(\beta )$来表示两个类别之间的可靠性差异。

差异指标表示的可靠性差异

令$\text{S}={\text{S}}_n+{\text{S}}_p$由两个与类有关的二阶矩矩阵${\text{S}}_n$和${\text{S}}_p$组成。 显然，$\text{S}$的属性由矩阵${\text{S}}_n$和${\text{S}}_p$的属性确定。 在下文中，我们表明可以基于差异指标$DI(\beta )$来评估${\text{S}}_n$和${\text{S}}_p$的可靠性。 使用组合的下标分别表示训练集和验证集之间的${\text{S}}_n$和${\text{S}}_p$矩阵。 例如，${\text{S}}_{n,tr}$和${\text{S}}_{n,va}$分别表示与训练集和验证集相关联的负类矩矩阵。

对于与训练和验证集相关的类相关矩矩阵，它们的GED变换矩阵的对角元素，和相应的差异指标分别由图3(a)和图3(b)显示。从这两张图中可以清楚地看到，相对于这两类，变换后的对角元素的差异是不同的。特别地，在图3(a)中，与${\text{S}}_n$相关联的每个对角元素大于与${\text{S}}_p$相关联的对应对角元素。

图3（b）中的差异指标明确表明了这两种与类有关的矩矩阵之间的差异。特别地，对于每个$\beta$的设置，可以看出对于${\text{S}}_n$的差异指标的平均值大于对于${\text{S}}_p$的差异指标的平均值。无疑，训练和验证集之间的相对较大的失配值表示相对不可靠的矩矩阵。因此，在该示例中，考虑到${\text{S}}_p$具有较低的$DI(\beta )$值，所以矩阵${\text{S}}_p$比矩阵${\text{S}}_n$更可靠。值得注意的是，在图3（b）中，每个评估比率$\beta \in [0,1]$始终能表示出可靠性差异。下文中，如果没有另外提及，则在所有实验中均采用$\beta =0.5$来评估差异指标。

矩阵比较的相关指标

值得指出的是，差异指标$DI(\beta )$的目的是显示分类矩阵相对于样本分组的可靠性差异。这个目标与矩阵比较的指标不同[10,11]。矩阵比较的目的是显示两个矩阵之间的差异。不同的目标导致不同的计算程序。我们认为，由差异指标$DI(\beta )$计算出的粗略指标或甚至类似0/1的指标就足以表示两种类别之间的可靠性差异。如图3（b）所示，相对于所有的$\beta$值，$DI(\beta )$能始终表明两个类别之间的可靠性差异。差异指标的这种一致性暗示仅特征值的一部分就足以显示可靠性差异。相反，度量的计算中为了显示两个比较矩阵之间的差异，需要所有特征值[10-13]。

对于矩阵比较，在矩阵比较中需要例如置换不变性和非负性等某些属性，并导致现有指标中的非线性函数的使用。在正则化的情况下，非线性函数可能会导致矩阵可靠性的错误指示。关于文献中提出的度量，例如，[10,11,13]，从理论上讲，尽管大多数度量标准被用作一般的矩阵差异指标，但它们可能并不适合于矩阵可靠性指示的目标。例如，两个现有的用于矩阵比较的指标$M1({\text{S}}_1,{\text{S}}_2)=\sqrt{{\sum }_{i=1}^{n}lo{g}^{2}d(i)}$和$M2({\text{S}}_1,{\text{S}}_2)=2{\sum }_{k=1}^n{(v_{k11}-v_{k21})}^2-{(v_{k12}-v_{k22})}^2$。${\text{S}}_1$和${\text{S}}_2$代表两个大小为$n$的用于比较的协方差矩阵，$d(i)$表示$|d{\text{S}}_1-{\text{S}}_2|=0$的第$i$个特征值[10]，$v_{klm},l,m=1,2$是矩阵${\text{S}}_l$中的总样本方差量，由矩阵${\text{S}}_m$的第$k$个特征向量表示。遵循这两个指标，可以将两个差异度量定义为:
$$D{I}^{log}(\beta )=\sum _{i=1}^{\lceil n\times \beta \rceil }lo{g}^2(d_{va}(i))\text{\hspace{1em}(3)}$$
$$D{I}^G(\beta )=\sum _{k=1}^{\lceil n\times \beta \rceil }{(v_{k11}-v_{k21})}^2-{(v_{k12}-v_{k22})}^2\text{\hspace{1em}(4)}$$其中$\lceil \cdot \rceil$表示整数舍入运算符，$\beta$控制着用于计算的大多数元素所占总元素的比例。

使用上述两个差异指标（3）和（4）进行矩阵可靠性指示的一个问题在于由函数$log(\cdot )$和$(\cdot {)}^2$分别引入的非线性。图4显示了以上两种差异指标与我们提出的$D{I}^{log}(\beta )$之间的比较。在图4（a）-（c）中，纯矩阵${\text{S}}_p$和${\text{S}}_n$的可靠性差异分别由这三种相互比较的方法表示。可以看出，对于每个$\beta$值，这三个量度均可以一致地指示${\text{S}}_p$和${\text{S}}_n$之间的可靠性差异。