RGL: A Simple yet Effective Relation Graph Augmented Prompt-based Tuning Approach for Few-Shot Learning文章详解
文章核心,比其普通的prompt流程加入了RGL(Relation Graph Learning)
图建立:样本作为点,相同类别点之间连线
RGL Loss:
−
∑
i
∈
I
∑
j
∈
A
(
i
)
e
i
j
log
(
e
^
i
j
)
+
(
1
−
e
i
j
)
log
(
1
−
e
^
i
j
)
-\sum_{i \in \mathcal{I}} \sum_{j \in \mathcal{A}(i)} e_{i j} \log \left(\hat{e}_{i j}\right)+\left(1-e_{i j}\right) \log \left(1-\hat{e}_{i j}\right)
−i∈I∑j∈A(i)∑eijlog(e^ij)+(1−eij)log(1−e^ij)
总的创新:再标准Prompt中融入了图信息,强制LM对每个样本输出的Logits与图的关系保持一致(图作为关系GroundTrue,核心,很重要)
该文章2022年4月被NAACL收录。