Background
小样本学习基本基于absolute信息,比如onehot编码,但是这种信息很难反映一张图片的全部信息。所以本文通过将absolute信息与relative信息相结合,通过人工给图片标一些属性(比如绿色,红色,耳朵等)增加图片的信息,从而可以将图片的标签“具体化”
数据处理
除了图片本身的标签,论文中表示需要人工给图片定义一些属性,并给出标签
框架
框架主要分为三个部分
一、特征提取
特征提取器f
二、 absolute learning
分为两部分,第一部分与普通图片分类无异,将图片特征放入分类器
h
c
h_c
hc,得到onehot标签,与真实的标签求loss(交叉熵)
第二部分是放入分类器
h
s
h_s
hs,与上面分类器不同的是,这个分类器得到的是属性标签,也就是数据处理过程中人工定义的属性,然后与其求loss(MSE)
三、relative learning
主要是基于对比的思想计算Loss
首先将特征提取器
f
f
f得到的两张图片的特征拼接后送入
g
g
g中,得到
ψ
i
j
\psi_{ij}
ψij。
emsp;在
g
g
g的倒数第二层将得到的向量与absolute learning得到的向量拼接,接着通过最后一层
g
l
g^l
gl得到
ψ
^
i
j
\hat{\psi}_{ij}
ψ^ij,最后送入
r
s
r_s
rs得到
a
i
j
a_{ij}
aij。
也就是说,该
a
i
j
∗
a_{ij}^*
aij∗是由两张图片共同得到的,所以计算loss的时候是与
a
^
i
j
\hat{a}_{ij}
a^ij计算,
a
^
i
j
\hat{a}_{ij}
a^ij是通过两张图片的属性标签相减(算差值加exp)得到
&emsp最后一个loss是由
ψ
^
i
j
\hat{\psi}_{ij}
ψ^ij与上面得到的
a
i
j
∗
a_{ij}^*
aij∗拼接后送入
r
c
r_c
rc后与
c
i
j
∗
c_{ij}^*
cij∗计算得到,同样的
c
i
j
∗
c_{ij}^*
cij∗也是由两张图片的onehot标签相交计算得到。
总结
就是算了4个loss。因为在数据处理的时候人工给图片加上了属性,所以属性标签和本来的onehot标签,基于absolute和relative各有两个loss,共4个。至于每个loss怎么选择,以及如何计算两张图片的标签的相似关系应该就是试出来的。
疑惑
4个loss的和对谁更新?特征提取器?那训练好特征提取器后怎么和小样本的模型结合?输入的数据是成对出现的,那小样本的范式N-WAY,K-SHOT怎么体现?
论文结果是表示ARL可以和很多框架结合,不知道怎么去结合。用meta-train阶段的数据训练出好的特征提取器,然后直接用到meta-test里的数据?
论文笔记:Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning
最新推荐文章于 2024-08-02 17:15:32 发布