论文笔记:Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning

Background
小样本学习基本基于absolute信息,比如onehot编码,但是这种信息很难反映一张图片的全部信息。所以本文通过将absolute信息与relative信息相结合,通过人工给图片标一些属性(比如绿色,红色,耳朵等)增加图片的信息,从而可以将图片的标签“具体化”
数据处理
除了图片本身的标签,论文中表示需要人工给图片定义一些属性,并给出标签
框架
在这里插入图片描述
框架主要分为三个部分
一、特征提取
  特征提取器f
二、 absolute learning
  分为两部分,第一部分与普通图片分类无异,将图片特征放入分类器 h c h_c hc,得到onehot标签,与真实的标签求loss(交叉熵)
求Loss
  第二部分是放入分类器 h s h_s hs,与上面分类器不同的是,这个分类器得到的是属性标签,也就是数据处理过程中人工定义的属性,然后与其求loss(MSE)
在这里插入图片描述
三、relative learning
  主要是基于对比的思想计算Loss
  首先将特征提取器 f f f得到的两张图片的特征拼接后送入 g g g中,得到 ψ i j \psi_{ij} ψij
在这里插入图片描述
 emsp;在 g g g的倒数第二层将得到的向量与absolute learning得到的向量拼接,接着通过最后一层 g l g^l gl得到 ψ ^ i j \hat{\psi}_{ij} ψ^ij,最后送入 r s r_s rs得到 a i j a_{ij} aij
  也就是说,该 a i j ∗ a_{ij}^* aij是由两张图片共同得到的,所以计算loss的时候是与 a ^ i j \hat{a}_{ij} a^ij计算, a ^ i j \hat{a}_{ij} a^ij是通过两张图片的属性标签相减(算差值加exp)得到
在这里插入图片描述
 &emsp最后一个loss是由 ψ ^ i j \hat{\psi}_{ij} ψ^ij与上面得到的 a i j ∗ a_{ij}^* aij拼接后送入 r c r_c rc后与 c i j ∗ c_{ij}^* cij计算得到,同样的 c i j ∗ c_{ij}^* cij也是由两张图片的onehot标签相交计算得到。
总结
  就是算了4个loss。因为在数据处理的时候人工给图片加上了属性,所以属性标签和本来的onehot标签,基于absolute和relative各有两个loss,共4个。至于每个loss怎么选择,以及如何计算两张图片的标签的相似关系应该就是试出来的。
疑惑
4个loss的和对谁更新?特征提取器?那训练好特征提取器后怎么和小样本的模型结合?输入的数据是成对出现的,那小样本的范式N-WAY,K-SHOT怎么体现?
论文结果是表示ARL可以和很多框架结合,不知道怎么去结合。用meta-train阶段的数据训练出好的特征提取器,然后直接用到meta-test里的数据?

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值