沉睡在草稿箱很久的paper笔记
摘要
样本合成是少样本分类中常用的方法,作者借鉴这一方法到多标签识别。将成对的不同类别的样例的特征相结合,得到的图片的标签集和合成所用的标签相对应。通过这种训练,产生一些不可见样本。
介绍
我们想让深度网络编码到全部的信息,不管是目标特征、位置、属性。这样就构成了一个样本的特征空间,再根据任务,对特征空间进行运算。
对于特征操作的理解:
有如下定义:
M
u
n
i
M_{uni}
Muni:交
M
s
u
b
M_{sub}
Msub:差
M
i
n
t
M_{int}
Mint:并
可以参考下图:
这篇文章的贡献:【因为我是来这篇文章中找东西的,所以少样本那部分的细节我并不在意,需要的可以自己再借鉴一下】
- 新的少样本合成方法
- 特征空间操纵方法
- 少样本多标签任务的提出者
方法
X、Y是不同类别的两种图片,它们的特征空间被表示为:
F
X
F_{X}
FX和
F
Y
F_{Y}
FY,统合为
F
F
F。
F
F
F可以被 backbone 骨干网络获得,比如 I3 和 ResNet50。有三种 LaSONet:
M
u
n
i
M_{uni}
Muni、
M
i
n
t
M_{int}
Mint和
M
s
u
b
M_{sub}
Msub三种网络。
它们操作后的特征空间表示为:
M
i
n
t
(
F
X
,
F
Y
)
=
Z
i
n
t
∈
F
\ M_{int}(F_{X}, F_{Y}) = Z_{int} \in F
Mint(FX,FY)=Zint∈F
以及简单的符号化表示:
L
(
I
)
=
L
(
X
)
⋂
L
(
Y
)
L(I) = L(X)\bigcap L(Y)
L(I)=L(X)⋂L(Y)
L
(
I
)
=
L
(
X
)
⋃
L
(
Y
)
L(I) = L(X)\bigcup L(Y)
L(I)=L(X)⋃L(Y)
L
(
I
)
=
L
(
X
)
/
L
(
Y
)
L(I) = L(X) / L(Y)
L(I)=L(X)/L(Y)
注意,我们会使用一个数据集
Γ
\Gamma
Γ对 LaSONet 进行预训练,但是预训练后的模型,我们更希望它学习到 操作,而不是单纯的图片属性。我们没有给 input 有关于图片的标签。所以它是潜在的学习到了某种操作,完成这件事。
这是 LaSONet 的流程图:
后面的我就需要再看了,因为我已经得到了我想要的了。
LaSONet 中对特征操作的那部分网络是通过多层感知机完成。
很久以来的第一篇博客。