大模型知识遗忘问题

背景

用nuscMQA数据集，采用LoRa微调Qwen2-VL，发现问什么问题，Qwen2-VL都会按照nuscMQA的Answer模板回答问题，丧失了原来的通用能力。

解决方法

数据策略

在微调大模型扩展他的特定任务能力时，仍然应该加入其他任务的数据维持其通用能力。例如DriveVLM中，除了专用的SUP-AD数据集，还把其他的驾驶领域数据集Talk2Car，BDD-X，Drama，SUTD，LLAVA数据集加入进行训练。

模型策略

微调通常需要改变模型的参数以适应特定领域的任务，这必将导致遗忘预训练获得的知识。解决方法的整体思路都是保留原预训练模型不变，在此基础上添加科学系的模块去适应新任务。

Block Expansion----LLaMA pro

核心关键点：1.保留原有模块，最大限度保留原有知识；2.增加模块适应新的训练结果，引入新知识。

LoRA

训练策略

多任务学习

学习多个相关任务，减少灾难性遗忘的风险。

迁移学习

只微调部分模型层或者使用预训练模型的特征提取能力而不是全模型微调。