论文阅读 (95)：Robust Self-Supervised Multi-Instance Learning with Structure Awareness (2023AAAI)

1 要点

1.1 概述

题目：结构感知自监督多示例学习 (SMILES)

背景：多示例学习 (MIL) 方法通常训练一个实例级特征提取器，并将其汇聚为包级别表示。然后，包级别表示的学习高度依赖于有标签数据的数量，这在实际应用中是很困难的。

方法：本文提出SMILES来学习无监督包表示，其有以下特性：

1. 序列不变性，其不受实例顺序的影响；
2. 结构感知，对实例之间的拓扑结构进行编码；
3. 对实例噪声或者扰动具有健壮性。

具体地，为了在没有包标签信息的情况下获取MIL模型：

1. 增强MIL包，训练表示编码器并最大化包在不同增强形式下表示的一致性；
2. 为了捕获包中相邻的拓扑结构，算法将学习包的最优图结构，且这些图将与信息传递层、有序加权平均运算一起，共同优化对比损失。

1.2 代码

1.3 引用

@inproceedings{Wang:2023:1021810225,
author		=	{Ye Jiang Wang and Yu Hai Zhao and Zheng Kui Wang and Mei Xia Wang},
title		=	{Robust self-supervised multi-instance learning with structure awareness},
booktitle	=	{{AAAI}},
pages		=	{10218--10225},
year		=	{2023},
url			=	{https://ojs.aaai.org/index.php/AAAI/article/view/26217/25989}
}

2 基础知识

2.1 MIL

令$\mathcal{X}\subset {\mathbb{R}}^{d_{\text{in}}}$表示实例空间，$\Omega$是标签$y$的集合。在MIL中，标签被设置为两类，即 Ω = { ⊤ , ⊥ } \Omega=\{ \top, \bot\} Ω={⊤,⊥}。MIL中的映射关系为$v_{mi}:2^{\mathcal{X}}\to \Omega$：
$$v_{mi}(X)\iff \exists x\in X:c(X)\text{\hspace{1em}(1)}$$其中$c\in \mathcal{C}$是概念空间$\mathcal{C}$中的一个概念，MIL数据集则表示为 D = { X , y } \mathbb{D}=\{ X,y \} D={X,y}

本文致力于在无监督情形下研究MIL，而自监督学习 (SSL) 便是一种在大量未标记数据下训练的一种学习范式。结合SSL的MIL可表示为$f_{rep}:2^{\mathcal{X}}\to {\mathbb{R}}^{d_{\text{out}}}$，其将包$X$转换到$d_{\text{out}}$维实例空间中而无需标签，即$f_{\text{rep}}(X)=(a_1,\dots ,a_{d_{out}})$。

2.2 MIL噪声

本文研究一个训练扰动的集合 U p ( Λ ) = { δ ∈ R d in : ∥ δ ∥ p ≤ Λ } \mathfrak{U}_p(\Lambda)=\{ \delta\in\mathbb{R}^{d_\text{in}}:\| \delta \|_p \leq \Lambda \} Up​(Λ)={δ∈Rdin​:∥δ∥p​≤Λ}，其中$\delta$表示度量误差、$p$是${\ell }_p$范数，以及$\Lambda$用于控制扰动的量级。形式上，噪声的生成属于黑盒反馈机制，当输入实例$x$，返回一个随机向量$g(x;\delta )$，其中$\delta$从概率空间$({\mathfrak{U}}_p(\Lambda ),\mathcal{F},\mathbb{P})$获得，且与$x$的值独立。因此，oracle抽取一个IID样本$\delta \in {\mathfrak{U}}_p(\Lambda )$并返回一个观测实例$g(x;\delta )=x+\delta$。在监督环境中，防御此类噪声的最简单、最直接的方法是最大限度地减少测量误差实例的损失：
arg min ⁡ θ E ( X , y ) ∼ D , δ ∈ U p ( Λ ) L c e ( θ , { g ( x ; δ ∣ x ∈ X ) } , y ) (2) \tag{2} \argmin_\theta\mathbb{E}_{(X,y)\sim\mathbb{D,\delta\in\mathfrak{U}_p(\Lambda)}}\mathcal{L}_{ce}(\theta,\{ g(x;\delta|x\in X) \},y) θargmin​E(X,y)∼D,δ∈Up​(Λ)​Lce​(θ,{g(x;δ∣x∈X)},y)(2)其中${\mathcal{L}}_{ce}$是交叉熵损失，$\theta$是参数。

2.3 MIL结构

MIL结构学习的目标是同时学习图结构和表示以提升MIL模型的表达能力。令$G=(V,\mathcal{E},X^{\prime })$表示一个关于$X$的无向图，其中 V = { v 1 , … , v n } V=\{ v_1,\dots, v_n \} V={v1​,…,vn​}是顶点的集合，每一个顶点$v_i$对应一个$d^{\prime }$维向量$x_i^{\prime }\in X^{\prime }$，$\mathcal{E}$是相似性矩阵，其元素$e_{i,j}$表示边的权重。另一种方式是将图视作2阶张量：$G\in ({\mathbb{F}}^n,{\mathbb{F}}^{n^2})$，其中$\mathbb{F}$表示${\mathbb{R}}^q$形式的任意有限维空间 (对于不同的$q$值)，通常表示特征空间。故有$X^{\prime }\in {\mathbb{F}}^n$，$\mathcal{E}\in {\mathbb{F}}^{n^2}$。

MIL结构学习学习一个映射$f_{sl}:2^{\mathcal{X}}\to ({\mathbb{F}}^n,{\mathbb{F}}^{n^2})$，其将输入空间映射到图空间。直观上，如果$x_i$和$x_j$在$X$中是最近邻，它们相应的顶点也更近。

2.4 序列不变

对于MIL包，一个实例序列动作$\pi \in {\mathbb{S}}_{\mathcal{B}}$是左动作$\varphi :{\mathbb{S}}_{\mathcal{B}}\times 2^{\mathcal{X}}\to 2^{\mathcal{X}}$，其中$n$个实例的排序序列上的元素$\pi$表示为包$X=(x_1,\dots ,x_n)$，以输出相应的实例序列，即$\varphi (\pi ,X)=(x_{\pi (1)},\dots ,x_{\pi (n)})$。对于所有的$\pi \in S_{\mathcal{B}}$和$X\in 2^{\mathcal{X}}$，如果映射$f:2^{\mathcal{X}}\to {\mathbb{R}}^{d_{out}}$满足$f\circ \varphi (\pi ,X)=f(X)$，则称为序列不变。对于从包生成的图，顶点的序列行为$\pi \in {\mathbb{S}}_{\mathcal{G}}$被定义为$\varphi :{\mathbb{S}}_{\mathcal{G}}\times V\to V$，且$\varphi (\pi ,V)=(v_{\pi (1)},\dots ,v_{\pi (n)})$。序列动作$\pi \in {\mathbb{S}}_{\mathcal{G}}$也作用于在节点$V$上定义的任何向量，即$(x_i\in {\mathbb{F}}^n)$，并输出具有节点顺序的等长向量$(x_{{\pi }_i})\in {\mathbb{F}}^n$。函数$f$在图$G$上的动作定义为$f:({\mathbb{F}}^n,{\mathbb{F}}^{n^2})\to {\mathbb{R}}^{d_{out}}$。如果它对$({\mathbb{F}}^n,{\mathbb{F}}^{n^2})$图空间中的任何顶点序列操作$\pi \in {\mathbb{S}}_{\mathcal{G}}$不变时，则其是$\mathcal{G}$不变的。

3 方法

3.1 包增强

在MIL中引入归纳偏差的方法之一是数据增强，我们将在数据使用它，其是算法稳健学习的关键。令$\mathcal{A}:2^{\mathcal{X}}\to 2^{\mathcal{X}}$表示增强函数，${\mathcal{F}}_{rep}$为表示编码器。对于$f_a\in \mathcal{A}$和$X$，定义：
$$f_a(X)=\left\{\tilde{x}|\tilde{x}=g(x;\delta ),x\in X,\delta \in {\mathfrak{U}}_p(\Lambda )\right\}\text{\hspace{1em}(3)}$$假设$f\in {\mathcal{F}}_{rep}$满足$f(f_a(X))=f(X)$。噪声扰动可以提供不同量级下的对比信息，以使得编码器学习多个表示。因此，遵循公式2的监督，针对实例扰动的自监督抗噪声监督学习的目标是：
arg min ⁡ θ E ( X ) ∼ D L θ ( X , { f a ( X ) } , { X − } ) (4) \tag{4} \argmin_\theta\mathbb{E}_{(X)\sim\mathbb{D}}\mathcal{L}_\theta(X,\{ f_a(X) \}, \{ X^- \}) θargmin​E(X)∼D​Lθ​(X,{fa​(X)},{X−})(4)其中 { X − } \{ X^- \} {X−}是负包，其是其它实例组成的包。对比损失${\mathcal{L}}_{\theta }$定义为：
L θ ( X , { X + } , { X − } ) : = − log ⁡ ∑ { z + } exp ⁡ ( cos ⁡ ( z , z + ) / τ ) ∑ { z + , z − } exp ⁡ ( cos ⁡ ( z , z ∘ ) / τ ) (5) \tag{5} \mathcal{L}_\theta(X,\{ X^+ \}, \{ X^- \}):= -\log\frac{\sum_{\{ z^+ \}}\exp(\cos(z,z^+)/\tau)}{\sum_{\{ z^+,z^- \}}\exp(\cos(z,z^\circ)/\tau)} Lθ​(X,{X+},{X−}):=−log∑{z+,z−}​exp(cos(z,z∘)/τ)∑{z+}​exp(cos(z,z+)/τ)​(5)其中$\tau$是温度、$\cos (\cdot ,\cdot )$是余弦相似度， z , { z + } , { z − } z,\{z^+\},\{z^-\} z,{z+},{z−}分别表示通过表示编码器获得的潜向量。

3.2 包结构感知

有效图拓扑的构造在MIL数据的高效表示与分析中至关重要。然而，图的自然选择不容易从包中获得，因此需要从包中的实例推断或学习图拓扑。

我们生成用于判断两个节点边可能性的相似性矩阵$\mathcal{E}\in {\mathbb{F}}^{n^2}$。对于节点$v_i$及其特征向量$x_i\in X$，我们使用一个非线性特征映射层$f_{nl}:{\mathbb{R}}^{d_{\text{in}}}\to \mathbb{F}$将器特征投影为一个$d^{\prime }$维潜在特征：
$$x_i^{\prime }=f_{nl}(x_i):=\sigma (x_i\cdot W_{nl}+b_{nl})\text{\hspace{1em}(6)}$$其中$\sigma$表示非线性激活函数。然后，在潜在特征上执行度量学习，获取特征相似性图$\mathcal{E}\in {\mathbb{F}}^{n^2}$，其中节点$v_i$和$v_j$之间的边计算为：
$$\mathcal{E}[i,j]=s(x_i^{\prime },x_j^{\prime })\times [[s(x_i^{\prime },x_j^{\prime }\gg ϵ)]]\text{\hspace{1em}(7)}$$其中$[[\cdot ]]$是一个指示函数，当条件满足时其值为1否则为0。$ϵ\in [0,1]$是一个用于控制特征相似图的阈值函数，其值越大，矩阵越稀疏。$s$是一个$K$头加权余弦相似性函数：
$$s(x_i^{\prime },x_j^{\prime })=\frac{1}{K}\sum _k^K\cos (w_k\odot x_i^{\prime },w_k\odot x_j^{\prime })$$其中$\odot$表示按元素乘积，以及$W_{kh}=[w_k]$是一个可学习参数，用以衡量特征向量每个维度的重要性。基于此，可以获得候选特征相似性图$(X^{\prime },\mathcal{E})=f_{sl}(X)$。

3.3 包表示

给定一个图$G=(V,\mathcal{E},X^{\prime })$，需要习得每个顶点$v\in V$的顶点表示。本文使用一个在生成图上的信息传递框架来保留领域节点之间的邻接信息。令$h_i^{\ell }\in {\mathbb{F}}_{\ell }$表示节点$i$在层$\ell$的特征，更新后的特征计算为 h i ℓ + 1 = f u p d ( h i ℓ , { { h j ℓ ∣ j ∈ N i } } ) h_i^{\ell+1}=f_{upd}(h_i^\ell,\{\{ h_j^\ell | j\in\mathcal{N}_i \}\}) hiℓ+1​=fupd​(hiℓ​,{{hjℓ​∣j∈Ni​}})，其中$j\in {\mathcal{N}}_i$表示节点$i$和$j$是邻居，$f_{upd}:2^{{\mathbb{F}}_{\ell }}\to {\mathbb{F}}_{\ell +1}$是一个线性函数，其可以近似为：
h i ℓ + 1 = σ ( W ℓ ⋅ ( h i ℓ ⊗ f ℓ ( h i ℓ , { { h j ℓ ∣ j ∈ N i } } ) ) ) (9) \tag{9} h_i^{\ell+1}=\sigma\left( W^\ell \cdot \left( h_i^\ell \otimes f^\ell (h_i^\ell,\{\{ h_j^\ell | j\in\mathcal{N}_i \}\}) \right)\right) hiℓ+1​=σ(Wℓ⋅(hiℓ​⊗fℓ(hiℓ​,{{hjℓ​∣j∈Ni​}})))(9)其中$f^{\ell }:2^{{\mathbb{F}}_{\ell }}\to {\mathbb{F}}_{\ell +1}$是一个单射集函数、$\otimes$是向量拼接，以及$\sigma$是按元素激活函数。由此，第$l$信息传递层为：$f_{mp}^{\ell }:{\mathbb{F}}_{\ell }\to {\mathbb{F}}_{\ell +1}$。通过$f_{mp}^{\ell }$的信息传递，获得每个实例的新表示
$$x_i^{\prime \prime }=f_{mp}^L\circ \dots f_{mp}^2\circ f_{mp}^1(x_i^{\prime })\text{\hspace{1em}(10)}$$

定理1 (节点表示). 对于一个节点–特征图$G=(V,X^{\prime },\mathcal{E})\in {\mathbb{F}}^n\times {\mathbb{F}}^{n^2}$和一个顶点表示函数$\psi (v,V,\mathcal{E},X^{\prime }):V\times ({\mathbb{F}}^n\times {\mathbb{F}}^{n^2})\to {\mathbb{R}}^{d_{\text{out}}}$。然而对于所有的序列行为$\forall \pi \in {\mathbb{S}}_{\mathcal{G}}$，有
$$\psi (v,V,\mathcal{E},X^{\prime })=\psi (\varphi (\pi ,v),\varphi (\pi ,V),\mathcal{E},\varphi (\pi ,X^{\prime }))$$这表明映射$\psi$对于任意节点是$\mathcal{G}$不变的。

以上过程生成的仅是实例表示，需要一个汇聚操作来获得包表示。本文使用有序加权平均 (OWA) 操作$f_{owa}:{\mathbb{F}}_{n+1}^n\to {\mathbb{R}}^{d_{\text{out}}}$：
z = f o w a ( { x i ′ ′ ∣ i ∈ [ n ] ; ζ } ) = ∑ i = 1 n ζ i x ( i ) ′ ′ z=f_{owa}(\{ x_i''|i\in[n];\boldsymbol{\zeta} \})=\sum_{i=1}^n\zeta_ix_{(i)}'' z=fowa​({xi′′​∣i∈[n];ζ})=i=1∑n​ζi​x(i)′′​其中$x_{(i)}^{\prime \prime }$是 { x i ′ ′ } \{ x_i'' \} {xi′′​}中第$i$大的元素。在本文中，所有的${\zeta }_i=1/n$。

4 实验

4.1 数据集

1. Benchmark；
2. Newsgroups
3. Biocreative。

4.2 参数设置

1. 信息传递层层数： { 2 , 4 , 8 , 12 } \{2,4,8,12\} {2,4,8,12}；
2. 训练轮次： { 10 , 20 , 40 , 100 } \{10,20,40,100\} {10,20,40,100}；
3. 批次： { 32 , 64 , 128 , 256 } \{ 32,64,128,256 \} {32,64,128,256}；
4. SVM的参数$C$： { 1 0 − 3 , … , 1 0 2 , 1 0 3 } \{ 10^{-3},\dots,10^2,10^3 \} {10−3,…,102,103}；
5. 阈值$ϵ$： { 0.1 , … , 0.5 } \{0.1,\dots,0.5\} {0.1,…,0.5}；
6. 增强比例$c$： { 10 % , 20 % } \{10\%,20\%\} {10%,20%}；
7. 温度$\tau$： { 0.05 , 0.1 , 0.2 , 0.5 , 1.0 , 2.0 } \{ 0.05,0.1,0.2,0.5,1.0,2.0 \} {0.05,0.1,0.2,0.5,1.0,2.0}；
8. 隐藏层维度：$128$；
9. 增强策略：丢弃、蒙版、替换、随机实例。