论文总结
文章平均质量分 93
金闪闪_Li
冲冲冲
展开
-
LoRA论文学习总结
NLP模型训练的一般范式就是在领域数据集上进行预训练来适应特定的任务,但当模型越来越大时,重新训练所有模型参数的微调就变得不太可行。LoRA(Low-Rank Adaptation)微调的思想是冻结与训练的模型权重,并将可训练的秩分解矩阵注入到Transformer架构的每一层,大大减少了下有任务的可训练参数的数量原创 2023-12-16 20:48:16 · 163 阅读 · 0 评论 -
CogVLM论文总结
CogVLM是一个开源的视觉语言基础模型,与流行的将图像特征映射到语言模型输入空间的浅层对齐方法不同,CogVLM 通过注意力层和 FFN 层中的可训练视觉专家模块弥合了冻结的预训练语言模型和图像编码器之间的差距原创 2023-12-07 12:43:57 · 204 阅读 · 0 评论