CVPR2023新作：深度学习模型微调新范式

1. Title: 1 VS 100 Parameter-Efficient Low Rank Adapter for Dense Predictions

2. Affiliation: 中科院

3. Authors: Dongshuo Yin, Yiran Yang, Zhechao Wang, Hongfeng Yu, Kaiwen Wei, Xian Sun

4. Keywords: deep learning, computer vision, fine-tuning, low-rank synthesis

5. Summary:

• (1):本文针对深度学习模型参数过多的问题，提出了使用低秩适配器进行微调的方法。

• (2):过去的研究中，将整个模型fine-tuning会产生大量的不共享参数，浪费硬件资源。本文提出的方法使用低秩合成生成微小的适配器结构，保持原始backbone的参数不变，结果参数共享率高。方法有充分的动机性。

• (3):本文提出 LoRand 的方法，在保持原始backbone参数不变的同时，使用低秩合成生成微小的适配器结构，从而实现高参数共享。在目标检测、语义分割和实例分割等任务上进行了广泛实验，结果表明，只训练预训练backbone参数的1%至3%，就能获得可比甚至更好的性能。

• (4):在 COCO 和 ADE20K 数据集上，LoRand 取得了与标准fine-tuning可比的性能，并在低资源的PASCAL VOC数据集上优于fine-tuning。证明了本文提出的方法的有效性。

6. Methods:

• (1): 本文提出了一种低秩适配器（LoRand）的方法，实现对深度学习模型进行微调，以减少模型参数过多导致的问题。在适配器的参数中，LoRand 采用低秩合成方法，生成微小的适配器结构并共享参数，从而保持原始backbone的参数不变，提高模型参数的共享率。

• (2): LoRand 的低秩合成方法通过三个矩阵 P、K、Q 来有效实现。其中 P、Q 为低秩矩阵，K 可以看作是一个核矩阵，用于控制 LoRand 参数的大小。此外， LoRand 还在适配器中添加了多支路结构，以提高低秩矩阵的鲁棒性和稳定性，同时共享核矩阵 K 可以促进两个投影层之间的一致性。

• (3): 在实验部分，本文对 LoRand 进行了广泛验证，包括目标检测、语义分割和实例分割。实验结果表明，使用 LoRand 方法可以只训练预训练 backbone 参数的1%至3%，即可获得可比甚至更好的性能。另外，LoRand 在 COCO 和 ADE20K 数据集上表现与标准fine-tuning可比，在低资源的 PASCAL VOC 数据集上优于 fine-tuning。这表明 LoRand 方法在解决参数过多问题上是有效的。

7. Conclusion:

• (1): 本文提出了一种低秩适配器（LoRand）的方法，旨在解决深度学习模型参数过多的问题，有效减少了微调过程中的不共享参数，达到了节约存储和加快模型训练的目的。LoRand在目标检测、语义分割和实例分割等任务上作为微调的代替方法，不仅能保持原始backbone的参数不变，提高参数共享率，而且使用LoRand方法只训练预训练backbone参数的1%至3%，就能获得可比甚至更好的性能。LoRand方法在解决参数过多问题上是一种有效的解决方法，具有实际应用价值。

• (2): 创新点：本文提出了一个新的方法，低秩合成生成微小的适配器结构，保持原始backbone的参数不变，结果参数共享率高。性能：在 COCO 和 ADE20K 数据集上，LoRand 取得了与标准fine-tuning可比的性能，并在低资源的PASCAL VOC数据集上优于fine-tuning。Workload: LoRand方法只需训练预训练backbone参数的1%至3%，训练成本和时间均得到了大大降低。但在多GPU下的并行训练上，LoRand还存在优化空间。