Counterfactual Zero-Shot and Open-Set Visual Recognition

Counterfactual Zero-Shot and Open-Set Visual Recognition

1 Introduction

        文献提出一个反事实框架，是由对不可见类的泛化来支撑的。作者基于反事实的一致性规则（反事实确实是基本事实，反事实就等于事实）改变可见和不可见类的类属性来作为二元分类器。拟议的反事实框架是第一个为平衡和改进可见/不可见分类提供理论依据的框架。特别是，作者表明，分离Z和Y的质量是关键瓶颈，因此它是ZSL/OSR未来的一个潜在方向。

2 Methodology

2.1  Zero-Shot Learning (ZSL)

        1）传统ZSL，其中模型仅在未可见类上评估；2）广义ZSL，其中模型在可见类上评估可见类和未可见类。一种常见的做法是使用一组额外的类属性  和  来分别描述可见类和不可见类。与独热标签嵌入相比，这些属性可视为密集标签嵌入。当上下文清楚时，将ZSL称为广义ZSL。

2.2 Open-Set Recognition (OSR)

        它是用于评估可见类和不可见类，与ZSL不同的是，不可见类被标记为“未知”。OSR通过K维度的独热标签来标记每一个可见类，并不是通过密集标签。

2.3 Generative Causal Model

        作者假设ZSL和OSR都遵循生成因果模型如图所示：

         其中Z表示样本属性，Y表示类别属性。忽略混淆因素，给定Z和Y可以从条件分布生成X。同时给定X是可以通过后验和推断出Z和Y。

2.4 Counterfactual Generation and Inference 

        通过上图的GCM按照计算反事实的三个步骤生成反事实样本