- 博客(2)
- 收藏
- 关注
RSS订阅原创 Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task3笔记
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。LoRA旨在通过仅微调模型的部分权重，而不是整个模型，从而减少所需的计算资源和存储空间。LoRA通过微调模型的一部分，有助于保持模型在未见过的数据上的。，可以迅速适应新的领域或特定任务。的情况下，也可以有效地对模型进行。，同时还能学习到特定任务的知识。
2024-08-17 22:16:34
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人