10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白

已于 2024-11-15 11:35:41 修改
阅读量5.3k 收藏 62
点赞数 20
文章标签： python 模型微调 lora微调 deepseek微调 大模型微调
于 2024-11-08 14:31:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010070526/article/details/143610706
版权

​点击上方“阿三先生”↑↑↑关注

模丨型丨微丨调

目录

背景介绍

Lora 微调

效果展示

环境安装

模型下载

微调数据准备

微调数据格式化

开始微调训练

设置lora相关的参数

设置TrainingArguments 参数

使用 Trainer 训练

微调模型保存

效果测试

微调模型使用

体验&完整代码获取

背景介绍

现存在的大模型已经很完善了，但在特殊场景下，他们的完成效果并不理想，也存在很多禁忌。主要体现在以下方面：

1、由于不可抗原因，对输出内容限制，对敏感内容禁止输出。

2、达不到理想的回复效果，忠实性不太理想，会天马行空。

3、想对产品做推广回复，在回复中要忠于产品，推广产品。

4、响应时长及稳定性问题

Lora 微调

      大模型的微调需要较多资源，lora用于解决训练资源匮乏时的模型微调。主要思路是，在原模型中增加低秩矩阵，对低秩矩阵进行训练，以达到对模型微调的目的。

     目前一般通过 peft 库来实现模型的 LoRA 微调。peft 库是 huggingface 开发的第三方库，其中封装了包括 LoRA、Adapt Tuning、P-tuning 等多种高效微调方法，可以基于此便捷地实现模型的 LoRA 微调。

这里介绍如何基于transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。

效果展示

环境安装

在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方库，包括但不限于如下：

pip install transformers==4.35.2pip install peft==0.4.0pip install datasets==2.10.1pip install accelerate==0.20.3pip install tiktokenpip install transformers_stream_generator

模型下载

最低0.47元/天 解锁文章
基于 DeepSeek-R1 模型微调（SFT）技术详解
zhangjiaofa的专栏
02-06 2479
本文的主要目的是详细介绍基于 deepseek-ai/DeepSeek-R1 模型的微调（SFT）技术。DeepSeek-R1 是一款具有强大性能和潜力的预训练语言模型，通过对其进行微调，我们可以将其应用于更广泛的实际场景中。在接下来的章节中，我们将首先介绍 DeepSeek-R1 模型的基础信息，包括其架构、预训练数据和特点。然后，深入探讨微调（SFT）的基础概念和技术原理，包括损失函数设计、梯度计算和优化器选择等。接着，详细阐述数据准备、微调环境搭建、微调过程实现以及模型评估等步骤。
LlamaFactory可视化模型微调-Deepseek模型微调+CUDA Toolkit+cuDNN安装
寓教于乐。教己助人
02-15 4042
进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。
零基础入门DeepSeek微调：全面教程，轻松掌握！
m0_65555479的博客
03-02 929
微调就像给一个“学霸”补课，让它从“通才”变成某个领域的“专家”。此处以本文进行微调的医学数据进行举例： 假设你有一个很聪明的朋友，他读过全世界的书（相当于大模型的预训练阶段），能和你聊历史、科学、文学等各种话题。但如果你需要他帮你看医学报告段），能和你聊历史、科学、文学等各种话题。但如果你需要他帮你看医学报告，虽然他懂一些基础知识，但可能不够专业。这时候，你给他一堆医学书籍和病例，让他专门学习这方面的知识（这就是微调），他就会变得更擅长医疗领域的问题。功能：深度学习框架，提供张量计算和神经网络构建功能。
DeepSeek大模型微调实战（理论篇）
python1222_的博客
01-04 8097
在大模型的微调过程中，**LoRA（低秩适配）**参数设置是提升训练效率和性能的关键。通过减少需更新的参数量，LoRA能够在维持模型性能的同时显著降低计算成本。然而，LoRA并非唯一影响训练效果的因素。诸如。
从零开始的DeepSeek微调训练实战（SFT）
m0_59235245的博客
03-12 1814
前言本文重点介绍使用微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并介绍用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个medical-o1-reasoning-SFT数据集上完成高效微调实战，并最终达到问答风格优化&知识灌注目的。你能收获什么：亲手完成DeepSeek R1蒸馏模型的微调实战对模型微调、推理数据集等知识有一定了解对大模型运行的机制和原理有一定的了解有机会制作一个属于自己的定制化大模型。
DeepSeek大模型微调实战（超详细实战篇）
热门推荐
2401_85325726的博客
01-11 3万+
*
LORA轻量级微调DeepSeek（浅析）
2401_85375186的博客
03-04 2174
LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。
LoRA微调deepseek R1（7B）
蓝羽飞鸟的博客
02-24 2214
数据集准备，模型加载，LoRA适配，微调训练，推理全流程
5分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
python12345678_的博客
11-10 2943
现存在的大模型已经很完善了，但在特殊场景下，他们的完成效果并不理想，也存在很多禁忌。主要体现在以下方面：1、由于不可抗原因，对输出内容限制，对敏感内容禁止输出。2、达不到理想的回复效果，忠实性不太理想，会天马行空。3、想对产品做推广回复，在回复中要忠于产品，推广产品。4、响应时长及稳定性问题Lora 微调大模型的微调需要较多资源，lora用于解决训练资源匮乏时的模型微调。主要思路是，在原模型中增加低秩矩阵，对低秩矩阵进行训练，以达到对模型微调的目的。
deepseek 本地化部署和小模型微调
陈锐的技术笔记
02-03 1万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
LlamaFactory-Deepseek模型微调+CUDA Toolkit+cuDNN安装
02-14
LlamaFactory-Deepseek模型微调涉及到了一个特定的深度学习模型——Deepseek的参数调整。这种微调是在一个已经预先训练好的模型基础上，根据新的数据集进行调整，从而让模型更好地适应新的任务。模型微调通常需要...
农业deepseek大模型微调方案
04-10
提升数据分析能力：通过对大量农业数据的深度学习，模型能够识别出影响作物生长的关键因素，为农民提供科学的种植建议。 2. 优化资源配置：根据模型分析结果，系统能够指导农民合理配置水、肥料和农药等资源，减少...
deepseek模型微调
最新发布
qingtian305的专栏
04-23 743
数据处理 - LLaMA Factory数据集格式，你可以任意定义格式，建议参照llama支持的格式，注意文件编码utf-8。
DeepSeek大模型微调实战：保姆级全流程指南
2401_84495872的博客
02-20 5589
第一步 Python环境准备具体请见文件 requirements.txt 上方下载↑↑↑第二步 构造数据集本文数据使用.jsonl文件。数据为拟造，仅供试验1.每一行数据为一个json对象，包含一个问题和一个答案2.初学者请注意数据的内容并没有格式要求，只要在后续步骤中能够处理成训练数据即可第三步，数据处理1.加载数据集2.编写数据格式化逻辑下图的逻辑是将问题部分作为输入，答案部分作为标签。
DeepSeek-llm-7B-Chat微调教程(使用SwanLab可视化工具)
weixin_44312617的博客
12-04 3103
DeepSeek系列大模型由杭州深度求索高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，的七十分之一。架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13%，同时，独创的DeepSeekMoESparse结构，也把计算量降到极致。开源模型。
DeepSeek本地化部署全攻略，轻松拥有专属 AI 助手
zhishi0000的博客
02-06 8475
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。2.页面下拉，根据自己电脑的配置选择合适的参数规模（7b 代表 70 亿参数，14b 代表 140 亿参数，参数越多，模型越大，效果理论上也会更好，但对电脑配置要求也更高），然后复制对应的下载命令。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
DeepSeek-llm-7B-Chat微调教程
zhishi0000的博客
12-25 1万+
高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，GPT-4 Turbo的七十分之一。架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13%，同时，独创的DeepSeekMoESparse结构，也把计算量降到极致。
finetune deepseek-r1-671b
02-25
### 对 DeepSeek-R1-671B 模型进行 Fine-Tune 为了对 DeepSeek-R1-671B 进行微调，可以遵循类似于较小版本模型（如 DeepSeek-R1-Distill-Qwen-1.5B）的方法。以下是具体实现过程： #### 准备环境和加载资源 首先需要安装必要的库并准备数据集。 ```bash pip install transformers datasets torch ``` 接着加载预训练的 Tokenizer 和模型实例化对象： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("DeepSeek-R1-671B") model = AutoModelForCausalLM.from_pretrained("DeepSeek-R1-671B") ``` #### 数据处理与Tokenization 定义函数来处理输入文本，并将其转换成适合喂给模型的形式： ```python def preprocess_function(examples): return tokenizer(examples["text"], truncation=True) tokenized_datasets = dataset.map(preprocess_function, batched=True) ``` 这里假设 `dataset` 是已经准备好并且包含了 `"text"` 字段的数据集对象[^2]。 #### 设置训练参数 配置 Trainer API 所需的各种超参数和其他设置项： ```python from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["validation"] ) ``` #### 开始Fine-Tuning 最后一步就是启动实际的训练流程： ```python trainer.train() ``` 完成上述步骤之后就可以开始对 DeepSeek-R1-671B 模型执行细粒度调整操作了。需要注意的是由于该模型规模较大，在硬件条件允许的情况下建议使用 GPU 或者 TPU 来加速整个过程。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿三先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值