Open-world Learning and Application to Product Classification论文笔记

 

目录

摘要

introduction

L2AC FRAMEWORK

Meta-Classifer

Training of Meta-Classifier

EXPERIMENTS

Ranker

---

摘要

        论文提出模型应该满足：（1）拒绝未知类别（没有在训练中出现）的样本；（2）逐步学习未知类别以扩展现有的模型

        这称为open-world learning（OWL），论文提出一个基于元学习（meta-learning）的OWL方法，关键的新颖之处在于，该模型维护了一组动态的可见类别，允许在没有重新训练模型的情况下，添加或删除新的类别

introduction

        多数现有的OWL解决方案存在一个缺陷：在没有重新训练或者增量训练的情况下，他们不能轻易地实现向现有模型中添加新的/没见过的类别

---

     

        面临的主要挑战是：（1）如何能够使模型将已知类别中的例子分类到相应类别，同时检测/拒绝未知类别；（2）当新/未知类别有足够数据时，如何在不重新训练模型的情况下增量地添加它们

        论文提出一个基于meta-learning 的OWL模型：Learning to Accept Classes (L2AC).该模型的关键新颖点是，维护了动态的已知类集S，可以在不需要重新训练模型的情况下添加或删除新类。

        论文的主要贡献：(1) 提出了一种基于元学习的OWL新颖方法 (称为L2AC)，与现有方法有很大不同；(2) L2AC的主要优点是，使用元分类器，OWL变为简单地维护已知类集S，因为已知类示例分类和未知类示例拒绝/检测都是基于将测试示例与S中的每个类的示例进行比较。为了能够接受/分类任何新类，我们只需要将类及其示例放在S中即可        

L2AC FRAMEWORK

L2AC结构有两个主要组成部分：a ranker and a meta-classifier

ranker用于从已知类中检索与测试示例相似/接近的示例

meta-classifier从已知类中读取检索到的示例，执行分类

 

   假设有已知类组S，一个测试示例xt，ranker从每个已知类c ∈ S中找到与xt最接近的top-k示例的列表，表示为

meta-classifier根据c的top-k示例，输出xt属于已知类c的概率

如果来自S中已知类的这些概率都没有超过阈值，则L2AC确定xt来自未知类 (拒绝); 否则，它将xt预测为来自具有最高概率的已知类

Meta-Classifer

        meta-classifier将已知类的前k个最接近的示例 (对于测试示例xt) 作为输入，并确定xt是否属于该已知类。

example representation and memory

1-vs-many matching layer

open-world learning via aggregation layer

      聚合层（aggregation layer）将k个相似度分数合并成一个单一概率，表明测试示例xt是否属于已知类别，通过具有聚合层，元分类器本质上具有参数化投票机制，它可以学习如何对来已知类的多个最接近的示例 (而不是单个示例) 进行投票以决定概率

 

Training of Meta-Classifier

EXPERIMENTS

        要解决以下研究问题 (RQs):

        RQ1具有不同设置的top-k示例和n个负类的元分类器的性能表现如何

        RQ2与用于text classifiers for open-world classification开放世界分类的最先进的文本分类器相比 (所有这些都需要某种形式的重新训练)，L2AC的性能如何

Ranker