[论文阅读] Learning with Augmented Class by Exploiting Unlabeled Data

论文原文下载链接 Learning with Augmented Class by Exploiting Unlabeled Data

 

Part 1- Introduction

    传统机器学习基于的静态设定在开放变化的环境中并不适用，为了解决这个问题，有一系列被称为增量学习（Incremental learning, IL）的方法被提出。

    增量学习(Incremental Learning)是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。通过对增量学习模型的研究,能够使我们从系统层面上更好地理解和模仿人脑的学习方式和生物神经网络的构成机制,为开发新计算模型和有效学习算法提供技术基础。

    按知识的类型，IL可划分为三个分支，如下图，更多相关资料请参考其他资料。

    这篇文章关注就是其一，class-incremental learning，这个分支想要解决的一个问题是“使学习系统能够识别未知的新类”。比如一个动物图像识别系统，训练时只有鱼、狗、鸟等类的示例，测试阶段进来一个真实标记为老虎的示例，传统的识别系统会把其判别为狗，但这其实显然是不正确的。因此，希望识别系统能够自动将其判别为新类。

 

这个新类（augmented class）是指在训练阶段未知，但出现在测试阶段的类。

    从这个角度，文章主要做了三大贡献，一是明确定义了LAC（Learning with augmented class）问题，二是提出了LACU的框架，三是提出了基于LACU的框架的LACU-SVM方法。

    LAC问题的定义如下

    在C-IL分支，已经有许多工作，但它们的Basic assumption在LAC问题中都不适用，具体请参考原论文。

    解决LAC问题的主要难点在于“新类的示例在训练阶段观察不到”，作者从两方面受到启发：一是在现实生活中可便捷的收集到大量未标记数据；二是已有的研究表明未标记数据中蕴含的信息可以帮助提高分类效果，尤其是当训练示例有限时。基于此启发提出了LACU框架。

Part 2 - The LACU Framework & LACU-SVM

    在LAC问题描述的基础上，新增未标记数据集

采用One-VS-Rest的策略，训练K个二分类器，每次把K个已知类中的一个类别作为正类，其余已知类作为负类，优化以下目标函数

第一项为模型复杂度，第二项为已标记训练集上损失，第三项为未标记数据集上损失，第四项为新类损失项，C1、C2、C3则为

各项损失的权重系数。

    在具体的LACU-SVM方法中，各项损失如下

lh是基于SVM的损失项，不同的类别可以通过large margin separator分隔开，即使是没有标记的数据；lu是基于半监督学习中的低密度分隔思想，即分类边界总是趋向存在于低密度区域，因此若未标记数据落入间隔（margin，图中为gap示意的区域）中时，计入损失，损失为其到分类边界的较小的那个距离，反之当其在间隔外时，无需考虑损失；la为新类产生的损失，为了尽可能减小在新类上的损失，所以让分类边界尽可能的靠近已知类，分类边界（图中的红色边界）越靠近已知类（即正类），正类支持向量的真实标记和预测标记的乘积（即la第一项）会越小，负类（新类属于负类）支持向量的真实标记和预测标记的乘积（即la第二项）会越大，因此二者的差值，即新类被判为已知类产生的损失，会越小。

    最后综合K+1个分类器的结果进行预测，取K+1个分类器中预测结果最大的类别作为最终预测结果，此处fnovel恒为0。

Part 3 - Experiments

进行了四组实验，包括三个不同领域的数据集对比实验和一个参数敏感度分析实验，对比实验对比了六种算法，使用宏F1作为评估标准，实验结果表明了LACU-SVM方法的优越性和参数不敏感，具体实验设置和结果分析此处省略。