开放集(七)Adversarial Reciprocal Points Learning for Open Set Recognition

前言

训练过程分为两个阶段：
第一阶段包括两个损失，即算法1：
1）第一个损失是分类损失，目的是最大化任意类别样本与与该类互换点（非类区域）的距离，也就是最大化样本成为自身所属类的概率。
2）第二个损失是开放空间损失，目的是使任意类别样本与其互换点的距离接近一个定值（边际），因而开放空间样本与互换点的距离则会小于这个定值，降低开放空间风险。（即使得开放空间尽可能的小）
第二阶段，包括三个损失：
1）第一个损失是分类器损失，见eq 19,其目的是为了对已知类进行分类，同时使生成的未知类距离未知空间尽可能近（因而距离已知类就尽可能远）。
2）第二个是判别器损失，和常规GAN完全相同，就是判别样本是属于真实数据分布还是生成的。见eq15
3）第三个是生成器损失，其目的是生成接近真实数据分布，但作为未知类的样本。见eq18

Introduction

如何同时降低标记已知数据的经验分类风险和潜在未知数据的开放空间风险是 OSR的关键挑战。本文提出的ARPL以最大限度地减少已知分布和未知分布的重叠，而不损失已知的分类精度。
每个互反点由类外空间与相应的已知类别学习，并采用多个已知类别之间的对抗来降低经验分类风险。然后，提出了一种对抗性边际约束，通过限制互易点构成的潜在开放空间来降低开放空间风险。
为了进一步估计来自开放空间的未知分布，基于互易点和已知类之间的对抗机制，设计了一种实例化对抗增强方法来生成多样化和令人困惑的训练样本，有效地增强模型对未知类的识别能力。

对抗性得互反点学习

类别k的深度嵌入空间记为Sk，其对应的开放空间记为Ok。将Ok分为两个子空间:来自其他已知类别的正开放空间 O^pos k和剩余的无限未知空间O^neg k,Ok = O^pos k∪O^neg k。
将类别k中的样本D^kL∈Sk，其他已知类别中的样本D^!=kL∈O^pos k, DL以外的R^d中的样本DU∈O^neg k分别定义为正训练数据、负训练数据和潜在的未知数据。利用二元可测预测函数ψk: Rd→{0,1}将嵌入向量x映射到标签k。对于一类的OSR问题，总体目标是通过使期望误差R^k最小来优化判别二元函数ψk:

α是正则化参数，Re为已知数据的经验分类风险，Ro为Open Space risk，被进一步表述为空间O^neg k上的一个非零积分函数:

开放空间O^negk被标记为正样本的次数越多，开放空间风险就越大。在多类设置中，OSR问题是通过集成多个二进制分类任务来识别的：

式(3)表示为:
其中f: Rd→N是一个可测量的多类识别函数，DL是训练阶段使用的标记数据集，DU是潜在的未知数据。
最小化式(3)的左侧相当于训练多个二元分类器，产生一个多类预测函数 f:

分类的互反点

将类别k的互反点P^k视为子数据集D^!=kL∪DU的潜在表示,因此，Ok的样本应该比Sk的样本更接近于互反点P^k ，其公式为：

其中ζ(·，·)计算两个集合之间所有样本的距离集合。根据式(5)，可以通过互反点与对应已知类之间的的opposition来对样本进行分类。
类的倒数点用m维表示，并可以用具有可学习参数θ的深度嵌入函数C进行优化。给定样本x和倒数点Pk，它们的距离d(C(x)，Pk)由欧式距离de和点积dd组合计算:

每一个已知类在空间位置和角度方向上都与它的互反点相反。基于提出的距离度量，我们的框架估计嵌入特征C(x)和所有已知类的倒数点之间的差异性，以确定它属于哪个类别。
样本x属于k类的概率与C(x)与倒易点Pk之间的距离成正比，C(x)与Pk之间的距离越大，将样本x分配给k的概率就越大。最终分类概率用softmax函数归一化:

γ是一个超参数，它控制距离概率转换。θ的学习(对应嵌入函数 C)是通过最小化基于真类k的负对数概率的倒数点分类损失来实现的:

最小化eq(8)对应于eq(4)中Re(f,DL),即经验分类风险。除了对已知类进行分类外，最小化式(8)的一个优点是通过最大化类别的倒数点与其对应的训练样本之间的距离来分离已知和未知空间，如下所示:

虽然Eq.(8)和Eq.(9)有助于使封闭空间Sk与开放空间中心Ok之间的间隔最大化，但Ok在Eq.(8)中不受约束。

Adversarial Margin Constraint

为了降低式(4)中的开放空间风险Ro(f, DU)，提出了一种新的对抗边际约束(AMC)来约束开放空间，其中每个特定类别k包含正开放空间O^pos k和无限负开放空间O^neg k。
多个类级开放空间被联合成一个全局开放空间OG:

我们的目标是通过将开放空间Ok限制在一个有限的范围内来降低每个已知类的开放空间风险。建立如下公式:

考虑到空间Sk和Ok是互补的，可以通过限制从Sk到倒数点P^k的样本之间的距离小于R来间接限定开放空间风险，如下所示:

用分类损失Lc来最小化式(12)相当于使式(5)中的ζ(D^!=kL并DU, Pk)相对于R尽可能小。
定理1：对于logit层基于互反点的神经网络，当且仅当max(ζ(D^!=kL, P^k))≤R时，x∈D^kL, Lc和Lo同时最小化 。
定理1进一步表明，(11)式可以用分类损失Lc对Eq.(12)中已知的目标类进行限制得到。如果目标类k及其倒数点包含在一个有界范围内，则类k的外类(包括其他已知类和潜在的开放空间)也被约束在一个有界空间内。通过这种多类别交互，已知的类别相互约束。一方面，可以预期Eq.(9)中的前一个分类损失会增加k类与其倒数点Pk之间的距离，另一方面，k类以其他倒数点P^!=k为界，如下所示（同eq12,限制Sk和其他类的互反点距离小于R，反向传播f 使得距离更小）:
通过Eq.(9)和Eq.(13)之间的这种对抗机制，每个已知类都被最大限度地推到有限特征空间的边缘，使每个类远离其潜在的未知空间。
考虑有界空间B(Pk, R)以互反点Pk为中心，R为其对应的区间，将已知空间与未知空间分离，利用这些有界空间尽可能接近全局未知空间OG。因此，式(12)中损失的计算可视为降低式(4)中的开放空间风险Ro(f, DU)。

Learning the Open Set Network

在对抗性互易点学习中，整体损失函数结合式(8)和式(12)，同时处理经验分类风险和开放空间风险:

θ,P,R表示可学习参数.
本文大部分未知类分布在深特征空间的低量级区域，如图1和图6(a)所示。此外，学习到的互反点也分布在低量级区域，并将已知类推离低量级区域，从而区分已知与未知，如图7所示。
如图3和图6(a)所示，用Eq.(14)学习，将已知的空间推到OG的外围，然后尽可能分离两个空间，ARPL形成了良好的嵌入空间结构，可用于进一步划分已知类和大多数未知类。

图1.(a)图像空间具有无限的开放空间，但大多数未知数的深嵌入表示分布在深空间[6]的有限低幅度区域。MNIST(蓝色)用于已知训练，KMNIST(绿色)、SVHN(黄色)和CIFAR-100(橙色)用于开放集评估，它们与MNIST的相似度逐渐降低。本文研究了如何通过减少已知样本的深度特征与不同未知样本的特征之间的重叠来提高识别。

图4:神经网络对混淆生成器生成样本的特征响应的可视化。(a)仅由ARPL训练。(b)由ARPL+CS训练。红色点表示通过实例化对抗增强生成的混淆样本的嵌入。

图6:(a) KMNIST的几个检索实例。橙色的圆圈表示已知的数类7，橙色的三角形表示与数字7对应的倒数点。左上角的红色样本表示一个失败案例，它与已知的类别编号3非常相似。(b)在MNIST上使用ARPL分类器进行对抗性训练，生成混淆图像。最上面和最下面对应已知的训练图像。

图7:(1)第一行是已知MNIST，未知的KMNIST、SVHN,和CIFAR100的学习特征空间可视化。中间的颜色形状为未知数据，颜色的圆圈为已知样本数据。不同的颜色代表不同的类。有颜色的三角形表示学习到的不同已知类别的倒数点。(2)第二行为特征点与倒数点之间的最大距离分布。

实例化(instantiated)的对抗增强

为了进一步降低这种未知数据（简单生成器生成的混淆样本）所带来的开放空间风险，好的解决方案需要在合理的未知数据优化策略的支持下，尽量减少学习到的神经网络的开放空间。我们进一步生成了混淆样本(CS)作为未知数据DU，以提高分类器对各种新分布的判别能力。

Learning the Confused Generator

不同于GAN，我们希望使用生成器从OG中恢复一些混淆的样本，而不是从Sk中恢复已知的样本。如图5所示，所提出的实例化对抗增强框架包含三个主要组件:鉴别器D、生成器G和具有深度嵌入函数C的分类器C。带有ARPL的分类器表示样本属于每个已知类别的概率。生成器将来自先验分布Ppri(z)的潜在变量z映射到生成的输出G(z)，判别器D: X→[0,1]表示样本X来自真实分布或假分布的概率。然后，给定先验Ppri(z)中的{z1，···，zn}和已知样本{x1，···，xn}，优化判别器D以区分真实样本和生成样本:

相反，生成器希望生成的样本更接近已知的类，以欺骗鉴别器D:

为了迷惑生成器，在这里引入了已知类和互易点之间的对抗机制。它鼓励生成器在开放空间的每个中心Pk附近创建样本,相当于鼓励生成的图像接近全局开放空间OG。形式上，生成器通过分类器进行优化:

其中S(zi, P^k) = softmax(de(C(G(zi))，Pk))。对于混淆样本，当这些样本的嵌入接近于所有互反点时，得到方程(17)的最大值。
Lemma 1.当深度特征向量C(x)与所有互反点之间的距离相等时，Eq.(17)最大（根据香农熵定理）:∀n∈n: S(zi,P^k)=1/n，且距离分布的熵最大。
通过结合这两种对抗机制，生成器被优化为:

其中β是控制信息熵损失权重的超参数，信息熵函数H(zi,P)=
我们的目标是生成与已知样本更相似的样本;这也迫使生成器为了欺骗鉴别器D,创建与已知类相似的样本，以平衡所有互反点的距离，使它们接近全局开放空间OG，式(17)中的损失应该很大。

图5:训练混淆生成器的基本框架。在这里，生成器将一个潜变量zi映射到生成的混淆样本G(zi)，鉴别器专注于区分真实和生成的样本。利用ARPL和FT训练带有ABN的分类器，并引入已知类与互反点之间的对抗机制。一方面，生成的图像让鉴别器discriminator识别正样本(即那些接近已知样本的样本)。另一方面，生成的图像应该是分类器classifier未知的样本，因此神经网络对这些样本的嵌入特征接近于所有互反点。

可靠性增强

最终目标是训练一个更好的特征空间，使得开放空间最小化。通过生成的混淆样本对分类器C进行优化为:

其中L为ARPL的总损失。这些生成的样本用于估计OG的未知分布，通过减小OG的大小来降低开放空间风险(如图4(b)所示)。
为了将这种混合分布分解为已知和混淆样本的两个底层分布，我们提出了辅助批量归一化(ABN)，以保证仅为混淆示例获得归一化统计量。如图5所示，ABN通过为属于不同域的特征保留单独的bn来帮助分解混合分布。ABN能够有效阻断混淆样本对已知类别判别的负面影响。
提出了一种联合训练方案，分类器与生成器相互改进的交替算法，如Alg2所示。在用混淆样本训练每个分类器之后(Alg. 2中的步骤6)，我们添加Focus Train (FT)，并使用已知的类再次训练分类器。该方案的目的是鼓励分类器将注意力集中在已知的分类上，纠正对混淆样本过于关注的偏差。

提出的实例化对抗增强方法的主要特点在于:1）首先，所提出的方法采用了封闭空间Sk与互反点形成的全局开放空间OG之间的对抗机制。2）其次，将生成的混淆样本和已知样本验证为两种不同的分布，以准确估计已知类和未知类的统计量;3）此外，我们的方法生成的图像覆盖了未知特征空间的整个低响应(如图4所示)，并包含了一定数量的与已知类相似的混淆图像(如图6(b)所示)。

Unknown Classes Detection

实例x属于已知类别之一的概率与x与类别k对应的最远倒数点之间的距离成正比:

本文提供了一种无需校准的检测性能度量，即使用属于任何已知类的已知概率和未知概率之间的差值来衡量学习模型检测未知样本的能力。