Open Set Recognition for Automatic Target Classification With Rejection

最新推荐文章于 2022-06-30 22:19:46 发布

appron

最新推荐文章于 2022-06-30 22:19:46 发布

阅读量452

点赞数 1

分类专栏：开放集识别

本文链接：https://blog.csdn.net/pingguolou/article/details/117927293

版权

开放集识别专栏收录该内容

58 篇文章 86 订阅

订阅专栏

0.摘要

监督下的分类任务的训练集通常范围有限，只包含几个类别的例子。在实践中，在训练中没有出现过的类被赋予了总是不正确的标签。开放集识别（OSR）算法通过为分类器提供一个拒绝未知样本的选项来解决这个问题。在这项工作中，我们介绍了一种新的OSR算法，并将其性能与当前其他用于开放集图像分类的方法进行比较。

1. 引言

通常情况下，用于自动目标识别的监督分类器是使用代表相对较少的目标类别的数据集来训练的。为了证明这种封闭集分类器的有效性，它们经常使用可能被一些噪声或其他因素干扰的训练类的样本进行测试。然而，在实践中，不能假设每个输入都属于一个目标类。当封闭集分类器遇到训练中没有涉及的类别时，样本会被标记为最有可能的（但仍然不正确的）类别，从而导致分类错误。另一方面，开放集识别（OSR）是一个描述技术的术语，它有能力放弃对训练中未见的输入的决定。这在文献中有时被称为拒绝，但输入样本不需要被丢弃。例如，如果一个输入被拒绝，它可以被传递给另一个算法（例如，用于在线学习）或在一些人在环系统中使用。OSR允许使用先验信息来区分已知的输入，并增加拒绝未知的选项。尽管通常不可能完全知道实践中可能遇到的类别的性质，但谨慎的做法是利用现有的知识，即通过训练集。因此，有监督的算法是OSR的首选。当需要分类时，OSR是有用的，但在现场有遇到新输入的巨大风险。OSR已经在许多框架、假设和名称下被研究过（例如，[1-4]），最近由Scheirer等人[5]正式确定。该形式化至少催生了两个支持向量机（SVM）的变种，即1-vs-set机和Weibull-calibrated SVM（W-SVM）。拒绝未知类和混淆类一直是自动目标识别系统的热门研究课题（如[6-9]），但OSR的最新发展，特别是在该形式化下开发的算法，还没有得到广泛关注。在本文中，我们介绍了一个开放集分类器，即概率开放集SVM（POS-SVM），它是建立在OSR形式化的基础上的[5]。我们评估了POS-SVM和其他两种目前用于自动目标分类的技术，并拒绝了激光探测和测距（ladar）和前视红外（FLIR）图像。我们对[10]中提出的用于拉达图像分类的性能评估进行了更新分析。我们还评估了[11]中提出的针对激光雷达和前视红外图像的W-SVM，其中只涉及POS-SVM和1-vs-set机器。本文的其余部分组织如下。第二节讨论了一些利用SVMs进行OSR的相关工作。第三节讨论了我们的方法。第四节提供了对我们的算法在合成和测量数据集上的评估。第五节总结并指出了一些未来工作的主题。

W-SVM参考https://blog.csdn.net/pingguolou/article/details/117752580?spm=1001.2014.3001.5502

3.POS-SVM

1-vs-set机器是专门针对线性核函数而设计的。事实上，用非线性核，即高斯径向基函数（RBF）构造1-vs-set机器在最小化（3）方面是无效的，因为在诱导的RBF核空间中增加的第二个平面并不直接对应于输入空间中的板块。然而，RBF核在其他文献中被广泛使用。因此，开发一种允许使用这种核的OSR技术是有意义的。我们还注意到，用户定义的参数pA和p显然对1-vs-set机器的性能有很大影响。据我们所知，没有办法对它们进行优化设置，也没有多少可量化的意义附加到这些参数上。这些参数在任何区间上都没有界限，也没有任何与它们的大小相关的内在意义。因此，我们的工作是由以下因素促成的。

1）非线性核的利用

2）对直观的自由参数的需求。

W-SVM解决了这些问题，但有一些注意事项。也就是说，它是基于关于阈值的两个假设。首先，假设对于多类识别，所有的类都应该有相等的阈值。我们提出，由于特征空间中的类别分布是未知的，因此可以预期从为每个类别使用独特阈值的方法中获得一些好处。第二，拒绝阈值的选择是临时性的。如前所述，Scheirer等人[22]建议根据问题的开放性设置阈值（和开放性有关确实不行，毕竟开放性都是未知的），但这需要对手头的分类问题有一些先验知识。我们提出，根据数据自动确定阈值的算法可能会产生更好的性能，而且这样的算法可以通过保护已知类别不被拒绝的想法来追求。在这一节中，我们描述了一种基于问题陈述和阈值化类后验的概念的OSR的新方法[5]。我们的主要贡献是采用了[5]的开放集风险最小化方法，以经验的方式确定每个已知类的唯一拒绝阈值。我们把我们的方法称为POS-SVM[10]。

A. 概率开放空间和经验风险

我们不把RO定义为开放空间和类定义空间的相对测量，而是为RO和RE选择概率表示。直观地说，开放空间风险随着分类器将任意（已知或未知）输入标记为目标的概率增加而增加。正是基于这一概念，我们为RO选择了一个概率表达。此外，如果开放空间风险是以概率方式描述的，那么经验风险也应该以类似方式描述。当类别分布未知时，选择RO和RE的概率表达是困难的。因为这种情况经常发生，我们依靠估计值来计算RS。让PA成为一个输入样本被分类的估计概率。PA的增加反映了开放空间风险的增加，因为将一个任意的输入归入开放空间的可能性增加。同样地，PA的减少反映了开放空间风险的减少。出于这个原因，我们为我们的开放集分类器设计选择RO=PA。因为RO是以概率方式定义的，所以我们也为经验风险RE选择一个概率表示。经验风险代表了训练集上的总误差，这意味着从训练数据中计算出的误差概率PE是一个不错的选择。我们在下一节讨论PA和PE的计算。

B. 实施
如第二节所述，类的后验概率可以设置其阈值，以实现具有拒绝能力的分类器。在[5]中OSR定义的框架内，我们开发了一种算法，选择T来最小化RO=PA和RE=PE的开放集风险RS。这导致了一个类似于（4）的概率表达。

其中我们包括了PA对T的符号依赖，以强调改变阈值直接影响开放集风险。我们现在讨论PA和PE的计算。类后验概率是通过Platt的方法[20]估计的，如第二节所述。我们选择普拉特定标既是因为它的简单性，也是因为它在文献中的广泛成功。使用验证集，PA可以通过计算被分类为Sc的样本数量（即后验概率大于阈值的样本）并除以验证集中的样本总数Sv来计算。

我们选择这个简单的估计，因为它对数据在特征空间的分布不做任何假设。它只依赖于SVM的决策函数f和阈值T。和以前一样，让pi是通过（1）计算的第i个样本的后验概率。为了从训练数据中计算出错误概率PE，我们将每次分类视为伯努利试验，错误概率为

其中N是训练样本的数量[24]。为了开发一种确定良好拒绝阈值的算法，我们首先注意到（1）作为SVM分数的函数是单调递增的。观察到高阈值对应于更大的pi，由此可见，一般来说，PA（以及RO）作为T的函数会减少。显然，目标函数（6）不是凸的，所以不能保证找到全局最优。一些优化算法，如模拟退火[25]，可能能够获得局部最优，但这伴随着高计算成本。因此，我们建议通过迭代增加T并仔细选择停止标准来寻求局部最小值。选择一些容忍度并在RS<时停止，可以使算法找到一个局部最小值，而对于用户定义的Pmin，断言PA>Pmin的约束条件可以确保收敛。这使得用户可以通过确保T不会变得太高，导致决策区域变得太小来保护已知的类。在我们的实验中，我们看到Pmin=1/C，其中C是训练班的数量，是一个很好的经验法则。因此，POS-SVM解决了以下优化问题。

在这种表述中，我们通过寻找阈值T隐含地获得原始OSR问题陈述（3）中定义的识别函数f。算法1是一个伪代码列表，描述了我们寻找最佳阈值T的技术。注意T的变化直接影响到第11行的PA。我们的算法是针对二元分类任务的，但很容易扩展到1-vs-all配置中的多类问题。用于C类识别问题的1-vs-all方案训练了C个二元分类器，将一个类别与其余C-1个类别区分开来。误差概率PE是在每个分类器的训练集上计算出来的，每个二元分类器在PA的计算基础上被赋予自己的优化阈值T。因此，对于C类识别，PE、PA和T各有C个不同的值。为了对测试样本x进行分类，根据得分最高的SVM fy给它一个暂定类标签y。然后，样本的后验概率P(y | fy(x))如(1)所定义，与相应的阈值Ty进行比较，以分类或拒绝该样本。用训练类标签集Ytr来表示，用POS-SVM对第1个测试样本xi进行多类分类是通过以下方式实现的