大模型时代下做科研的四个思路

背景

在模型越来越大的时代背景下，如何利用有限的资源做出一些科研工作。

四个方向

1、Efficient(PEFT)

提升训练效率，这里以PEFT(parameter efficient fine tuning)为例

2、Existing stuff(pretrained model)、New directions

使用别人的预训练模型，新的研究方向

3、plug-and-play

做一些即插即用的模块，例如模型的模块、目标函数、新损失函数、数据增强方法等等。

4、Dataset,evaluation and survey

构建数据集、发表分析为主的文章或者综述论文

一、Efficient(PEFT)-第一个方向

通过论文AIM为例讲述如何进行PEFT，即在硬件资源有限时对大模型进行高效微调

• 论文地址：https://arxiv.org/abs/2302.03024
• 论文标题：AIM: Adapting Image Models for Efficient Video Action Recognition
• 标题翻译：调整图像模型以实现高效的视频动作识别

思考：已经训练好的图像模型是否需要继续微调？

1、clip已经证明了即使ZeroShot(模型不变，直接在各个数据集上进行推理)，它的效果也很好。即一个训练很好的图片模型从中提取视觉特征是有泛化性、有效的。

2、继续微调会导致灾难性遗忘。如果使用少量数据在大模型上微调&#x