- 博客(1)
- 收藏
- 关注
原创 Datawhale AI夏令营 逻辑推理笔记
LoRA(Low-Rank Adaptation)微调是一种高效的模型微调技术,特别适用于大型预训练语言模型的适应性调整。LoRA的核心思想是通过引入低秩矩阵来调整模型的权重,从而在不显著增加模型参数数量的情况下,实现对模型的微调。2.1.2 LoRA 的优势- 可以针对不同的下游任务构建小型 LoRA 模块,从而在共享预训练模型参数基础上有效地切换下游任务。- LoRA 使用自适应优化器(Adaptive Optimizer),不需要计算梯度或维护大多数参数的优化器状态,训练更有效、硬件门槛更低。
2024-08-02 23:51:20 532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人