weixin_47550093的博客

原创 QLoRA微调文本生成实战《一、LoRA与QLoRA》

随着大模型的火爆，展现出了十分出彩的技能。但是如何飞入寻寻常百姓家？学者们不断尝试研究通过不同的结构调整，或者增加或者减少，或者部分或者整体参数设计。主要代表：Prompt Tuning、Prefix Tuning 、P-tuning、LoRA。本文从LoRA与QLoRa开始导入描述本文简单介绍了LoRAL与QLoRA原理,并给出了主题代码。