论文笔记 AISTATS 2020|Rep the Set: Neural Networks for Learning Set Representations

1 简介

论文题目：Rep the Set: Neural Networks for Learning Set Representations
论文来源：AISTATS 2020
论文链接：https://arxiv.org/pdf/1904.01962.pdf
代码链接：https://github.com/giannisnik/repset

1.1 创新

• 提出一个新的结构学习集合的表示，同时提出一个简化的变体降低复杂度，将模型用于大规模数据集。

2 背景知识

二分图匹配问题即选取一个子图，每个结点最多出现在一条边中，该问题的最优解可以解释为两个节点集$V_1$和$V_2$之间的相似性。Hungarian Algorithm可参考链接

3 方法

模型的整体框架如上图，主要分为下面几个部分：

1. 排列不变层：使用二分匹配算法计算集合X和隐藏集合H之间的对于关系，选择最佳的匹配(一个X集合的元素对应一个H集合的元素)，公式如下(第一列)，其中$f(v_i,u_j)=ReLU(v_i^T{u}_j)$。
2. 分类：给定隐藏集合为$Y_1,Y_2,...,Y_m$，为m个不同的二分匹配问题，最终得到m维向量x，然后进行分类，公式如下(第二列)。

为了降低计算复杂度，提出一个简化的约束，如果$|X|\ge |Y|$,公式如下，否则替换第一个约束为 ∑ j = 1 ∣ Y ∣ z i j ≤ 1 , ∀ i ∈ { 1 , . . . , ∣ X ∣ } \sum_{j=1}^{|Y|}z_{ij}\leq1,{\forall}i \in\{1,...,|X|\} ∑j=1∣Y∣​zij​≤1,∀i∈{1,...,∣X∣}

4 实验

分别在文本分类和图分类两种任务上进行实验。

4.1 文本分类

文本分类的实验结果如下图,评测指标为错误率：

同时通过下列实验发现隐藏集的元素可能与不同类别的主题相关。

4.2 图分类

文本分类的实验结果如下图：

4.3 运行时间分析

隐藏集合的大小m、维度、输入集合的大小和$|X_i|$的大小对运行时间的影响，如下图：