【论文阅读】Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning

Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning

奇异值微调：少参数微调的小样本分割新范式 | NeurIPS 2022
paper | code
作者：南京理工大学
#小样本分割 #微调 #SVD分割 #BAM+SVF
一句话概括：为解决过拟合问题，将backbone参数分解为三个矩阵，在训练时对其中一个奇异值矩阵进行微调，其余二者进行冻结，取得了比较好的泛化和分割效果。

1. 摘要

Freeze 预训练的backbone（(冻结主干网络的参数)已经成为FSS任务中预防 over-fitting 的标准范式，但本文提出一种新范式，即fine-tuning a small part of parameters in the backbone。我们的方法通过Singular Value Decomposition (SVD) 将主干参数分解为三个连续的矩阵，然后仅微调奇异值并保持其他值不变。上述设计允许模型调整新类的特征表示，同时在预训练的主干中保持语义线索。

2. 引言

·问题：少样本带来的过拟合
·原始方法：学过头了 -> 限制模型的学习能力，即freeze（）。
也有特征融合以及原型以提高泛化能力，但效果不如预训练。
·预训练的缺陷：预训练主干中包含的语义线索可以与支持图像中显示的对象无关，从而为在FSS中分割新类对象带来意想不到的障碍。
·引入方法：微调