2023-12-3学习笔记

 1.Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning（具体论文见置顶资源）

摘要：

该论文探讨了基于多任务微调的基础模型在少样本适应中的理论基础。研究发现，通过在一组相关任务上进行多任务微调，可以降低目标任务的错误率。论文提出了任务选择算法，并通过大量实验证据证明了该算法的优越性。

多任务微调是如何帮助基础模型适应新任务的？
多任务微调可以帮助基础模型适应新任务。根据论文的理论分析，通过在一组相关任务上进行多任务微调，可以降低目标任务的错误率。多任务微调利用先前在相关任务上学到的知识和表示来提供初始模型参数，然后通过在目标任务上进行微调来适应新任务。这种方式可以充分利用已有的大规模预训练模型的知识，从而提高在少样本情况下的适应能力。

论文中的实证结果也支持了多任务微调的有效性。通过大量实验证据，论文展示了在一组相关任务上进行多任务微调相比直接在目标任务上微调的优势，表明多任务微调可以提高基础模型在少样本适应中的性能。

这项研究还有哪些实证结果支持了论文的理论分析？
论文中的实证结果主要包括以下内容：

验证了多任务微调相比直接在目标任务上微调的优势。
展示了任务选择算法的有效性。
证明了多任务微调可以提高基础模型在少样本适应中的性能。
具体的实证结果和实验细节可以参考论文中的第4节“Experiments”部分。[1]

论文提出的任务选择算法是如何工作的？
论文提出了一种任务选择算法，用于在多任务微调中选择任务。该算法基于任务的一致性和多样性来进行选择。具体而言，算法首先将任务的数据表示为高斯分布，并计算任务之间的余弦相似度作为一致性度量。然后，算法通过计算任务数据的覆盖度作为多样性度量，以确定任务集合的多样性。最后，算法根据余弦相似度和覆盖度对任务进行排序，并逐步选择任务，直到达到一定的覆盖度增益。这样可以选择出与目标任务相关且具有多样性的任务集合，从而提高多任务微调的性能。

论文中的实验证据表明，使用该任务选择算法进行多任务微调可以显著改善模型的性能。例如，在Omniglot数据集上，使用该算法进行多任务微调相比使用所有候选任务，可以分别提高7.4%、7.3%和2.2%的准确率。

 

感想：

单一任务增加少样本对模型效果提升不明显，而多任务的微调+更多的样本，对大模型能力提升有明显帮助，后续CV方向我们也要重点关注此类方法。