立桩一百万-CSDN博客

原创大模型实战：使用 LoRA（低阶适应）微调 LLM

一些微调的最佳实践包括使用强正则化、使用较小的学习率和少量的epochs。对于LLM，我们使用一种类似的方法，称为参数高效微调（PEFT）。其中一种流行的PEFT方法是低秩适应（LoRA），LoRA 是低秩适应 (Low-Rank Adaptation) 的缩写，其是一种用于微调深度学习模型的新技术，它在模型中添加了少量可训练参数模型，而原始模型参数保持冻结。LoRA 是用于训练定制 LLM 的最广泛使用、参数高效的微调技术之一。

2024-05-21 14:21:18 665

原创 LLM大模型基础知识（二）

tensor数据操作（pytorch）

2024-05-17 18:32:30 181

原创 LLM大模型基础知识（一）

我们可以简单理解为，Anaconda是一个预装了很多我们用的到或用不到的第三方库的Python。在没有notebook之前，在IT领域是这样工作的：在普通的 Python shell 或者在IDE（集成开发环境）如Pycharm中写代码，然后在word中写文档来说明你的项目。由于本文需要用到PyTorch框架，所以还需要安装PyTorch（后期必不可少地会使用GPU，所以安装GPU版本的）。本节简单介绍一些必要的软件的安装与配置，由于不同机器软硬件配置不同，所以不详述，遇到问题请善用Google。

2024-05-17 18:00:29 838

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

weixin_44650393的博客

原创大模型实战：使用 LoRA（低阶适应）微调 LLM

原创 LLM大模型基础知识（二）

原创 LLM大模型基础知识（一）

原创联邦学习简介

转载 C++基础八股文

原创图像笔记-它山之玉

空空如也

空空如也

原创 大模型实战：使用 LoRA（低阶适应）微调 LLM

原创 LLM大模型基础知识（二）

原创 LLM大模型基础知识（一）

原创 联邦学习简介

转载 C++基础八股文

原创 图像笔记-它山之玉

空空如也

空空如也

原创大模型实战：使用 LoRA（低阶适应）微调 LLM

原创联邦学习简介

原创图像笔记-它山之玉