阅读笔记Y CVPR2021 Self-Promoted Prototype Reﬁnement for Few-Shot Class-Incremental Learning FSCIL自提高原型提

最新推荐文章于 2024-05-18 01:31:12 发布

RioLys

最新推荐文章于 2024-05-18 01:31:12 发布

阅读量523

点赞数 1

分类专栏： few shot incremental learning 文章标签：原型模式算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_47340312/article/details/125820479

版权

few shot incremental learning 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

(一).标准学习范式：（Standard Learning Paradigm）

使用backbone VGG或Resnet作为特征提取器 $f_{e}$ ,参数 $\theta _{e}$ , 提取特征representation(embedding)，

$R_{q}=$ $f_{e}(Q|\theta _{e})$ , Q为单张query图片

得到 $R_{q}$ 后，使用度量函数（metric） $f_{m}$ 参数为 $\theta _{m}$ ，对特征和可学的原型 $\theta _{p}$ 进行度量，并给出softmax得分，

$S = sofxmax(f_{m}(R_{q},\theta _{p};\theta _{m})))$ ,

$f_{m}$ 可以是多种多样的分类器，例如对于某一原型 $\theta _{i}$ , $R_{q}$ 经过S后的打分为，

$S_{i} = \frac{exp(\eta (\theta _{p}^{iT})*{R_{q}})}{\sum _{j}exp(\eta (\theta _{p}^{jT})*{R_{q}})}$

最后使用损失函数去优化使得 $S_{i}$ 和正确的标签T对应，

$\theta _{*} = argmin_{\theta }L(S_{i},T)$

优化后学习到参数 $\theta _{e},\theta _{m}$ 和原型 $\theta _{p}$ .

（二）.增量原型学习

在小样本增量学习时，文章使用episode一词代表小样本dataset，

文章将增量类与原先的类相混合，如原先为50类，做5way增量训练，到第60类需要做两次训练。

文章提出两个创新点

1.Random Episode Selection.即随机小样本训练集选择

注：FS学习中将样本集中class数量称为way,每个class中的样本数称为shot，因为shot比较少所以叫做few-shot learning

本文提出的随机小样本训练集选择策略中，在每次iteration中，首先选择N-way K-shot的query image Q，再从混合类 $X^{1}$ 中同样选择N-way K-shot的query image C,C作为伪增量类。

使用（一）中训练好的特征提取器 $f_{e}$ ，将C中的数据输入，并对得到的每个类的特征取平均，

$R_{s} = mean(f_{e}(C;\theta _{c}))$

文章在这里的写法看着有点奇怪，实际上我的理解是作者每轮都想要随机从Base的 $|Y^{1}|$ 个类中寻找N个类来做这一轮的随机抽样迭代，所以写

$\theta _{P}^{N} = C_{|Y{1}|}^{|Y{1}|-N}(\theta _{P})$

这样，我们的目标就是在原型 $\theta _{P}^{N}$ 和得到的embedding $R_{s}$ 的基础上给Q分类了。

2.Dynamic Relation Projection.即动态关系投影

为了进行增量更新，文章将新类别的embedding $R_{s}$ 和旧类别的原型 $\theta _{P}^{N}$ 分别经过一个转换层（包含一个1x1卷积层、一个池化层和一个激活函数ReLU），

$T_{s} = f_{t_{1}}(R_{s};\theta _{t_{1}})$

$T_{p} = f_{t_{2}}(\theta _{p}^{N};\theta _{t_{2}})$

将 $T_{s}$ 和 $T_{p}$ 进行合并，再×上 $T_{p}$ 作为本轮的关系矩阵，

$T_{Y^{1}} = Concat([T_{s},T_{p}])$

$Corr = T_{p} \cdot T_{Y^{1}}^{T}$

最终得到更新后的原型矩阵，

$\theta _{p}^{'} = Corr^{T}\cdot \theta _{p}^{N}$

文章认为这种方法在动态地保存已有知识并增强对于新知识的区分性。

在得到更新后的原型矩阵 $\theta _{p}^{'}$ 后，将query image的embedding和矩阵做运算（如上述的 $f_{m}$ 和softmax）得到得分与groud truth $Y_{q}$ 做Loss，并反向传播。

实际上本文的创新点在于混合关系矩阵Corr的创建和优化，在这个过程中动态地取得不同的N个伪增量类别FS样本，将矩阵concat构造关系矩阵并由此对query进行测试的优化。

但是文章只提到了伪增量样本的选取使用，没有提及在每个session新来的增量是怎么处理的，我目前认为是将增量和base直接混合变成新的base库。后面读refer的文章如果有发现错误再做修改。

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
阅读笔记Y CVPR2021 Self-Promoted Prototype Reﬁnement for Few-Shot Class-Incremental Learning FSCIL自提高原型提

fewshot文章阅读
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。