深入探究并解决LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题

已于 2025-03-15 17:25:49 修改
阅读量1k 收藏 13
点赞数 16
分类专栏： 大模型应用与实战 文章标签： DeepSeek LLama-Factory 思维链
于 2025-03-06 14:28:21 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.csdn.net/jining11/article/details/146019127
版权

在Deepseek模型的落地应用中，我们期望它不仅能够给出准确答案，还能展示其推理过程。本文记录了我在LLamaFactory微调和测试DeepSeek蒸馏模型时遇到的思维过程展示问题，以及从问题发现到最终解决的全过程。通过对模型配置、提示模板和界面渲染的系统性优化，成功实现了蒸馏模型思考过程的直观可视化展示。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

问题背景

最近在本地环境中部署了DeepSeek-R1-Distill-Qwen-1.5B，即由Qwen2.5-Math-1.5B基础模型蒸馏出来的具有思维能力的模型。这是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DeepSeek R1蒸馏版模型部署的实战教程
herosunly的博客
02-09 4万+
本文主要介绍了DeepSeek R1蒸馏版模型部署的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 运行代码 3.1 启动模型服务 3.2 模型调用
用SGLang部署的DeepSeek R1推理时没有输出＜think＞标签
不负热爱
02-27 2258
DeepSeek R1推理时开头没有输出<think>标签
【大模型训练】 用LLAMA_FACTORY复现deepseek-r1的蒸馏过程
andeyeluguo的博客
02-13 539
2. 从链接https://huggingface.co/datasets/open-r1/OpenR1-Math-220k/则可以从本机的服务器中根据ip直接访问 http://192.168.100.100（服务器地址）:11111（开放端口）中下载parquet文件全部放到OpenR1-Math-220k文件夹中。1. data文件中新建OpenR1-Math-220k文件夹。dataset_info.json中新增。4. 启动LLAMA_FACTORY。如果11111是开放的端口，
如何调试 AI 接口，Deepseek 推理过程可见？
gdjnrc_com的博客
02-20 924
高效地调试 AI 接口，同时直观地展示模型推理的过程
关于deepseek，千问qwq32B等大模型没有开始＜think＞问题的解决方案！
ssp584731180的博客
03-12 1097
【代码】关于deepseek，千问qwq32B等大模型没有开始<think>问题的解决方案！
Dify 使用 reasoning 模型时不显示 think 过程的解决方法
engchina的专栏
03-31 1328
Dify 使用 reasoning 模型时不显示 think 过程的解决方法
量化模型和蒸馏模型理解|| UE生成llamafactory训练样样本
weixin_56537692的博客
02-12 302
蒸馏：在同样输入的情况下，根据高参数模型的输出，去调教低参数模型的输出，直至低参数模型的输出与高参数的模型输出结果相似。同样的，能节省存储空间，减少推理时间。（模仿高参模型行为。量化：部分参数高精度降低至低精度，节省存储空间，减少推理时间。熟悉UE和UE允许加载CSV为数据表行。4.最好找一个json检验网站，校验和格式化和。2.数据表行读取排列QA数组。
Ollama 省略简单问题思考
wugaoshuang的博客
03-10 544
C:\Users\Administrator>ollama show qwq --modelfile 输出模型格式文件后进行编辑，加入<think></think>段，注明省略简单问题的思考。好的，如果用户的要求简单，我会省略思考直接输出内容回答用户的提问。如果要求复杂，就进行思考。
LLamafactory微调总结
baiyipiao的博客
02-24 1455
Llamafactory微调汇总
全面掌握大模型：LLaMA-Factory深度解析，看一篇文章就够了！
Everly_的博客
10-22 4442
*，以适应特定的应用场景，如。
停止回答 ollama 接口调用返回 ＜think＞＜/think＞
计算机辅助工程
02-20 1267
如果你在使用 Ollama 或其他 LLM 服务时遇到 ，请确保你的交互方式是基于 API 的，而不是依赖于特定的脚本语言或标记。在讨论 Ollama 接口调用返回 这个情况时，我们需要先澄清一些基本信息，因为 通常与聊天机器人或对话系统中的特定标记有关，比如在某些基于规则或脚本的对话系统中，这些标记可能用于指示对话流程中的一个特定步骤或状态。在客户端处理：在客户端（如你的应用或脚本中），你可以使用字符串操作（如 Python 的 str.replace() 方法）来移除这些标记。
大模型微调、蒸馏记录
不甘平凡的小鸟的专栏
02-13 1136
每一种数据集评测方法不一样，比如文本生成，指标用BLEU，看回答跟数据集的相似度和流畅度有多少，如果是题目，只需要回答A,B,C,D这种，那就要提示大模型，仅需要回答A,B,C,D，然后用回答跟数据集的文本做比较；lora微调的话，输出的文件是适配器文件，也就是仅包含微调参数的文件，测试时，可以分别加载原始模型和适配器文件，也可以合并原始模型和适配器文件之后，再加载合并后的模型来进行推理；用教师模型生成QA对，然后通过微调过程来对学生模型进行微调（让学生模型尽可能作出与教师模型一样的回答）
如何使用大模型高效生产|蒸馏数据[含完整代码]
budahui的博客
09-27 2364
大模型出现之前我们的训练数据大都依赖人工标注、开源数据以及从线上数据中构造合适的监督数据，如果开源数据不太符合我们的业务需求（大部分情况下无法直接满足要求），且已有的线上数据也没办法抽取出符合要求的监督数据，这个时候恐怕只能依赖于人工标注了，但是人工标注又非常的耗费人力和时间。大模型出现后给我们提供了新的选择，我们可以通过构造高质量的prompt使用大模型给我们生产数据。原理其实很简单，所以本次分享的重点其实不在于原理，主要是想将本人工作中经常使用的一套代码分享出来，供大家直接使用。
一文彻底搞懂大模型 - LLaMA-Factory
lvaolan的博客
03-03 820
提供了一套完整的工具和接口，使得用户能够轻松地对。
解决deepseek r1模型输出＜think＞标记问题
jenken1209的博客
02-08 8198
vllm一键解决<think>标记
深入解析LLaMa-Factory模型微调：从理论到实践
最新发布
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
04-20 644
LLaMa-Factory模型是基于Transformer架构的预训练语言模型。Transformer架构自2017年被提出以来，凭借其并行计算能力和强大的特征提取能力，在自然语言处理领域取得了显著的成果。LLaMa-Factory模型在继承Transformer架构的基础上，进行了多项优化和改进，以适应不同的语言任务和应用场景。大规模预训练：LLaMa-Factory模型在海量的文本数据上进行预训练，这些数据涵盖了多种语言和领域，使得模型能够学习到丰富的语言知识。多任务适应性。
微调deepseek-14B，如果要对模型生成的思维链也进行优化的话，在训练数据的output中也要加上<think>***</think>这样的部分？
02-25
微调DeepSeek-14B（假设这是一个特定的大规模语言模型）以改进其生成能力是一个复杂的过程，特别是当你想要优化模型产生的“思维链”（即推理过程或中间思考步骤）。在这个背景下，“思维链”通常是指从输入到最终输出之间的逻辑路径或者解释。 为了有效地将这种功能加入到您的模型中，并确保它能够理解和生成包含明确标记的思维链条的数据，您可以考虑以下方案： ### 在训练数据中添加特殊标签 如果您希望模型能够在生成文本的同时显式地表示出它的思维方式，则可以在训练集中引入如`<think>...</think>`这样的XML风格标签来包裹需要作为‘思维’内容的部分。例如: ``` Input: 解释一下为什么太阳会发光？ Output: 太阳之所以会发出光是因为内部发生的核聚变反应。<think>这里涉及到物理学知识：氢原子在极高温度下结合形成氦并释放能量。</think> ``` 这样做可以让模型学习如何区分普通文本和特别指定为"思考"的内容，并学会按照这种方式组织自己的表达。 #### 准备带标注的数据集 准备足够的样本来覆盖各种类型的查询及其相应的思考流程非常重要。这不仅包括科学事实、数学计算等常见领域的问题解答，还应该涵盖更广泛的话题范围以便让模型可以泛化应用此技能于未曾见过的情境之中。 另外还需要注意的是，在实际操作过程中可能会遇到一些挑战，比如保证足够高质量的手动构建示例；以及避免过度拟合等问题。因此建议逐步迭代地调整和完善这个机制直到达到满意的效果为止。 --
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值