- 博客(355)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 LLM推理后台极速搭建：FastAPI + 异步架构 + 动态路由实战
随着DeepSeek、Qwen等大语言模型的快速发展，越来越多的企业和开发者开始将大模型集成到自己的应用中。然而，在实际生产环境中，我们往往需要同时管理多个不同的模型和不同后台框架如ollama和vllm，处理高并发请求，实现流式响应，并且要求系统具备良好的可扩展性和稳定性。本文将详细介绍如何使用FastAPI构建一个功能完善的大模型管理后台系统。该系统不仅支持多模型统一管理，还具备异步处理、并发控制、流式响应、动态路由、请求统计等特性，能够满足从原型开发到生产部署的各种需求。🎉进入大模型应用与实战专栏
2025-06-09 11:17:09
251
原创 高并发场景下该选择哪个LLM推理框架？Ollama与vLLM实测对比
支持多种LLM推理框架的性能测试提供可视化的测试结果展示支持自定义并发数和数据集配置实时监控GPU资源使用状况。
2025-06-09 11:15:59
722
原创 基于QwenAgent解锁Qwen3无思考高效模式：vLLM部署实战与Ollama模板定制
本文探索了Qwen3混合推理模型在不同部署方式下的表现优化方案。测试发现：Qwen3相比Qwen2.5在推理能力上显著提升，但默认会输出冗长的思考过程，影响响应效率。通过对比Ollama和vLLM两种部署方式，最终采用修改Ollama模板的方法，创建了自定义模型qwen3nt（no think），成功实现了推理能力与响应简洁性的最佳平衡。
2025-06-03 16:15:00
598
2
原创 Windows + CPU也能跑时序预测：TSLib框架快速上手与踩坑避雷
本文记录了在Windows平台部署TSLib时序预测框架的全流程。针对开发环境限制，详细介绍了从环境安装、数据集准备到模型适配的完整解决方案。内容包括：1) 创建conda环境并安装依赖；2) 数据集目录规范与UTF-8编码转换；3) 关键数据格式标准化处理（时间列命名、数据集分割比例调整）；4) 针对实际业务需求的数据预处理；5) 基于性能基准的模型选择建议。特别提供了Windows特有配置的解决方法，帮助开发者在资源受限环境下快速搭建时
2025-06-03 10:27:42
442
1
原创 超越Dify工作流：如何通过修改QwenAgent的Function Call及ReAct方法实现对日期时间的高效意图识别
本文将介绍如何通过修改QwenAgent框架中的`FnCallAgent`和`ReActChat`类，实现一种更高效的意图识别流程。这种方法能够减少不必要的计算开销，更快速地识别用户意图并提取必要参数。这里以时间识别为例，介绍如何通过工具定义、意图识别、后处理实现对复杂时间问题中时间参数的准确提取。
2025-04-22 18:07:56
799
4
原创 Agent系统工程实践：Langchain-Chatchat框架定制与优化
在路径下，我们可以定义自己的工具。一个优秀的工具定义不仅仅是功能的实现，更重要的是要使用异常检测语句为Agent提供明确的反馈，使其具备自我纠错的能力。"""导出plzg近XX个月汇总excel表格"""try:passexcept:return (f"开始时间戳格式错误:"""导出plzg近XX个月汇总excel表格。
2025-04-22 18:05:48
484
3
原创 如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务
目标：让大模型总结出每个分类类别的典型特征和识别规律工作原理：将同一类别的所有样本聚合，提供给大模型，让它分析这些样本的共性输出：每个类别的判别规则和特征描述这个阶段实际上是利用大模型来执行知识归纳任务，让它从大量同类数据中总结规律，相当于让大模型自己提炼出区分不同类别的关键特征。第一阶段的目标是利用大模型对每一类别的原始数据进行分析，总结出这个类别的规律特征。数据准备加载原始分类数据及标签基于原始数据生成SFT（监督微调）数据第一阶段：类别规律总结对每个类别的所有样本进行合并。
2025-04-14 09:26:18
825
原创 如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题
Qwen2.5是阿里巴巴推出的一系列大语言模型，提供基础版本（base）和instruct版本（用于指令微调）。经过指令微调，能够更好地理解和响应自然语言指令，通常用于对话和任务执行。Qwen2.5（基础版本）则是未经指令微调的模型，适用于更灵活的生成任务，但也可能由于缺乏微调导致某些行为异常，比如本文探讨的无限循环问题。问题本质：微调后的Qwen2.5模型配置文件中设置错误，导致生成无法正常终止排查方法：检查原始token输出和比较模型配置文件解决方案：修改配置文件或在代码中动态设置正确的。
2025-04-14 09:23:55
804
原创 Qwen-Agent框架的文件相关操作：从Assistant到BasicDocQA
Assistant类是Qwen-Agent框架中的一个核心类，它继承自，集成了RAG能力和函数调用能力。llm=llm,name=name,：可调用的函数列表llm：语言模型实例：系统消息name和：Agent的名称和描述files：文件列表rag_cfg：RAG配置BasicDocQA类继承自Assistantllm=llm,name=name,DEFAULT_DESC = '可以根据问题，检索出知识库中的某个相关细节来回答。
2025-04-06 20:37:46
685
原创 针对Qwen-Agent框架的源码阅读与解析：FnCallAgent与ReActChat篇
在中，我们已经了解了Agent基类的大体实现。这里我们就再详细学习一下类和ReActChat的实现思路，从而对Agent的两条主流技术路径有更深刻的了解。同时，在前面的文章中我们尝试了中英文提示词和并行调用工具，这里我们将追溯源码，看看它们的深层次实现以及失效的原因。
2025-04-06 18:50:22
903
原创 基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理
Xinference是一个强大的分布式推理框架，支持多种大语言模型的部署和推理。而DeepSeek作为中文开源大模型的佼佼者，具有卓越的推理能力和知识储备。将两者结合，可以构建高效且灵活的LLM推理服务。流式推理：适用于需要实时交互的场景，如聊天机器人非流式推理：适用于批量处理或需要一次性获取完整结果的场景非常重要的一点是修改模板。由于我们使用思维链微调了DeepSeek模型（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》
2025-04-05 10:27:05
1199
2
原创 基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口
在大语言模型（LLM）应用的实际落地过程中，流式推理（Streaming Inference）是提升用户体验的关键技术。与[《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》](https://wangjn.blog.csdn.net/article/details/146283684)中使用的传统的批量推理不同，流式推理允许模型在生成过程中实时返回部分结果，从而实现类似于人类对话的交互体验。本文将详细介绍如何基于Transformer框架对微调后的Qwen2和Dee
2025-04-05 10:25:35
818
原创 在CPU服务器上部署Ollama和Dify的过程记录
Ollama部署：优先考虑Docker安装方式，确保正确配置数据卷挂载和端口映射Dify配置：实现与Ollama的正确集成，确保数据持久化Docker管理：掌握Docker Compose的使用，熟悉项目的打包、迁移和部署流程通过这些步骤，您可以在标准CPU服务器上构建一个完整的AI应用开发环境，运行大语言模型并基于它们构建应用，即使在离线环境中也能高效运作。🎉进入云端运维专栏🚀查看更多专栏内容。
2025-04-04 18:38:32
1426
原创 基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理
在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA，还需要进行一步导出模型的操作），实现快速高效的模型推理。本文将详细分享如何基于Transformer框架，通过多GPU并行实现DeepSeek模型的非流式批量推理，并解决在实践中遇到的关键技术挑战如输出结果错乱、to
2025-04-03 18:59:47
1304
11
原创 软链接解决docker中的conda路径错误：ModuleNotFoundError: No module named ‘Cpython‘
环境迁移注意事项：在将 Conda 环境打包到 Docker 容器时，应当注意脚本中可能存在的硬编码路径问题。路径一致性：最好在构建 Docker 镜像时，保持与原始环境相同的路径结构，或者使用相对路径。问题诊断方法：面对复杂的环境问题，采取"追根溯源"的方法，逐层分析错误信息，找出问题的本质原因。优雅的临时解决方案：在不方便重建环境的情况下，创建兼容的路径结构是一种简单有效的解决方法。
2025-03-29 17:26:54
1066
原创 微调这件小事：模板是什么？一文从LLaMA-Factory源码看穿Template的面纱
我们已经得知了instruction所真正扮演的角色，下面我们就在保持调试方法不变的情况下，沿着数据集处理的逻辑往前一步，继续探索关于Template的一些细节，搞懂模板这个总是碰到又说不太清的关键概念。模板从复杂的格式（支持工具调用、思考过程等）转换为简化的Jinja2格式，便于与tokenizer集成。
2025-03-29 17:24:39
505
1
原创 解决address already in use报错：如何查看占用某个端口的程序并杀死
修改应用配置，使用另一个可用端口优点：无需干扰现有服务，操作简单安全缺点：可能需要调整多处配置，尤其是在微服务架构中终止占用目标端口的进程优点：保持原有配置不变，避免级联修改缺点：可能会中断重要服务，需谨慎操作本文将重点介绍第二种方案的实施步骤，帮助您安全有效地解决端口冲突。端口占用问题是服务器应用开发和运维中的常见挑战。通过掌握本文介绍的诊断和解决方法，您可以有效地处理这类问题，确保应用程序的正常运行。在解决问题的同时，建立良好的端口管理实践，可以从根本上减少此类问题的发生频率。
2025-03-23 21:54:21
1447
原创 微调这件小事：训练集中的输入数据该作为instruction还是input？从LLaMA-Factory的源码中寻找答案吧~
在之前的博文中，我们已经了解了LLaMA-Factory框架执行各类任务的流程。这两个问题其实在处理流程上是一体的，由于篇幅限制，我们这里先聚焦于第一个问题。
2025-03-23 21:52:41
797
7
原创 深入探究并解决LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题
在Deepseek模型的落地应用中，我们期望它不仅能够给出准确答案，还能展示其推理过程。本文记录了我在LLamaFactory微调和测试DeepSeek蒸馏模型时遇到的思维过程展示问题，以及从问题发现到最终解决的全过程。通过对模型配置、提示模板和界面渲染的系统性优化，成功实现了蒸馏模型思考过程的直观可视化展示。
2025-03-06 14:28:21
1188
12
原创 解决VS Code中Python模块导入路径问题的完整指南
在使用VS Code开发Python项目时，我们经常会遇到这样一个常见但令人困扰的问题：当我们尝试单独调试位于子目录中的Python文件时，由于该文件中的导入语句是从工作区根目录开始编写的，VS Code会报告"ModuleNotFoundError"错误。这个问题在大型项目或遵循特定目录结构的项目中尤为常见。这样，无论在项目的哪个子目录中，都可以正常导入项目中的模块。
2025-03-06 14:26:47
1502
1
原创 多示例演绎基于DeepSeek和Dify工作流实现大模型应用的快速搭建
从实际业务需求出发，详细展示如何利用DeepSeek模型与工作流的强大组合，快速构建四个实用有趣的AI应用工具：对话主题提取、多轮文件问答、PPT助手和图表自动生成。
2025-02-26 19:02:59
1414
5
原创 如何基于transformers库通过训练Qwen/DeepSeek模型的传统分类能力实现文本分类任务
DeepSeek开源的其他模型都太大了，只有基于Qwen蒸馏得到的模型较小可以用来训练。特别说明：当输入的是嵌入向量(inputs_embeds)而不是输入ID(input_ids)时，系统无法判断填充令牌，因此会直接取每一行的最后一个值。注意虽然这些模型都是生成式模型，但是由于它们都是基于transformer架构，所以本质上和Bert等模型一样，是可以训练它们用来做传统的文本分类的。但是注意，这只是数据并行而不是模型并行，如果要实现一个显卡无法加载的大模型的多卡训练，请使用deepspeed。
2025-02-21 17:25:30
1172
7
原创 微调这件小事：深入修改源码，实现LLaMA-Factory同时测试多个数据集并汇总结果
在使用LLaMA-Factory进行微调的时候，我们常常需要同时微调多个任务，并且希望能查看微调后的模型在不同任务上的表现，从而有针对性地对数据集进行调整，提升其整体效果。然而LLaMA-Factory的训练和测试默认是将所有数据集合并后打包在一起的，这无疑增大了测试的麻烦程度。本文以微调text2sql任务为例，探索了手动测试多数据集的方式，并在研究项目源码之后对其进行了修改，完成了对多文件的自动化测试并自动生成总结文件。
2025-02-11 12:14:48
663
5
原创 微调这件小事：当我们执行LLaMA-Factory，我们到底在执行什么
其实LLaMA-Factory的执行路径很简单，本质上就是靠webui收集微调参数，靠launcher执行微调算法。只是中间多了两步命令行执行以实现分布式微调，结果增大了调试的难度。如果想深入探索LLaMA-Factory的算法实现，那就先设法生成文件，再根据这个文件去调试。
2025-02-11 12:13:59
3802
5
原创 针对Qwen-Agent框架的Function Call及ReAct的源码阅读与解析：Agent基类篇
的基础上，进一步阅读Qwen-Agent框架涉及到的相关源码，深入解析不同参数对于工具调用效果的作用方式。的写法取出了迭代器的最后一个值，也就是完整的返回结果。这是一个抽象基类，定义了Agent的基本接口和功能。7. 允许不同的 Agent 实现不同的处理逻辑。自动检测消息是中文还是英文，设置相应的语言参数。类，因此我们也按照自底向上的顺序，缕清从。方法本质上是返回了一个流式的迭代器，而。这是一个抽象方法，代表了具体的执行逻辑。8. 确保了输入输出的一致性。6. 提供了统一的接口。这是一个公共接口方法。
2024-11-28 23:03:02
1036
6
原创 LLaMA-Factory如何解决数据集加载时json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 214)的错误
可以看出对于JSON类文件有两种处理方式，一种是整体读取，一种是按行读取，这里显然属于后者。下载了一个物理学相关指令微调数据集，但是尝试预览数据集时，发生了如下错误。手动查看JSON文件内容，发现确实跟常规的JSON文件不太一样。输入内容，果然报错了，错误原因是两个JSON块之间没有分隔符。将文件后缀改成jsonl，并且修改。重新尝试预览数据集，成功~
2024-11-28 14:38:24
509
12
原创 使用LLaMA-Factory微调时的数据集选择
LLamaFactory 提供了丰富的默认数据集，涵盖了自然语言处理（NLP）领域的多种任务。这些数据集广泛应用于各类研究和实际应用中，帮助训练更强大的模型。接下来，我将详细介绍这些数据集的种类、特点、使用方法以及如何选择适合您的任务的数据集。数据集名称主要特点适合任务语言来源高质量指令-响应对指令跟随、文本生成英文人工生成GLaIVE工具使用、API调用工具使用、多任务英文人工生成LLaMA多模态（文本+图像）、指令跟随指令跟随、文本生成、图像生成多语言人工生成。
2024-11-25 21:07:29
1071
原创 基于Qwen-Agent框架的Function Call及ReAct方式调用自定义工具
自定义工具比较麻烦，要严格按照下面的格式才可以，否则会提示工具没有注册的错误。description = "两个整数相乘"'description': '第一个整数','description': '第二个整数',],"""两个整数相乘"""description = "两个整数相加"'description': '第一个整数','description': '第二个整数',],"""两个整数相加"""按照以下方式接入Ollama模型的参数设置。
2024-11-19 16:12:06
1155
原创 基于Qwen2.5在多框架下的Function Call尝试及总结
本文主要基于ollama加载的qwen2.5模型以及一套简单通用的工具定义方式，探索如何将其适配不同的框架，实现对工具的准确调用。从结果来看，Langchain-chatchat可以正常调用GPT3.5，但是无法完成qwen2.5的工具调用，Langchain-ollama可以完成qwen2.5的工具调用，但是只调用了两个工具中的一个，而Ollama和Qwen-Agent都可以满分完成工具调用任务。
2024-11-13 17:17:27
2047
1
原创 代码实现从Langchain到Dify的Agent切换
在Langchain中，Agent调用的对象是Tools，而在Dify中，Agent调用的对象是基于api的工具。要将工具导入Dify分两步，第一步是基于fastapi在后台启动api服务，第二步是将schema json文件导入到Dify。使用以下代码，可以将tools自动转化成api和json。
2024-10-14 17:35:04
738
原创 基于Dify的工作流全流程测试
下面是工作流官方文档中给出的工作流定义，其实工作流与Agent调用的对象是一样的，都是预先定义好的智能体。不过工作流是在一个确定的任务空间里面，根据预定义的长且复杂的智能体链条去完成任务；Agent则要利用大模型的语义理解能力，首先从无穷的语义空间中进入一个有限的任务空间，再将潜在的智能体空间与这个任务空间做对齐，通过重复的思考-尝试-反馈思维链条去迭代出一个相对来说较为简单的智能体调用链。
2024-10-09 09:09:09
4818
1
原创 基于Dify的Agent全流程测试
跟一文读懂Langchain：ChatGLM3和ChatGPT的Agent调用分析中的测试基准一样，针对请问下面这个字符串的长度的三次幂是几：XXX这个问题，看看能否正确调用获取字符串长度和计算三次幂这两个工具。选择创建空白定义，类型为Agent点击Agent设置，可以看到默认模式就是ReActDify里面的工具都是基于外部API定义的，因此需要将两个函数封装成API的形式title="Agent测试API",return appsummary="获取字符串长度",
2024-09-26 16:23:55
2422
2
原创 Dify部署及初步测试
你猜怎么着，死活修改不了，最后我发现这是因为文件夹路径挂载在硬盘上，没法改权限，于是重新在默认目录下载了一个项目，这下就可以成功运行了。的错误，这是因为docker中对应的localhost并不是宿主机的地址，需要改成宿主机的IP地址。接下来设置用户名和密码，设置完之后会自动跳转到登录页面，登进去就是这样。右上角点击头像中的设置，进入模型供应商页面，选择ollama。在右上角的模型选择界面，你甚至可以同时调试多个模型。中的内容，应该是数据库挂载目录的权限出了问题。中的相关指引，完成以下步骤。
2024-09-24 14:58:05
1187
formatted_task1154_bard_analogical_reasoning_travel.json
2024-11-28
formatted_task1144_xcsr_sw_commonsense_mc_classification.json
2024-11-28
1158_bard_analogical_reasoning_manipulating_items.json
2024-11-28
formatted_task1163_coda19_section_classification.json
2024-11-28
formatted_task1168_xcopa_commonsense_reasoning_ht.json
2024-11-28
formatted_task1152_bard_analogical_reasoning_causation.json
2024-11-28
1155_bard_analogical_reasoning_trash_or_treasure.json
2024-11-28
formatted_task1156_bard_analogical_reasoning_tools.json
2024-11-28
1157_bard_analogical_reasoning_rooms_for_containers.json
2024-11-28
formatted_task1145_xcsr_jap_commonsense_mc_classification.json
2024-11-28
formatted_task1159_bard_analogical_reasoning_containers.json
2024-11-28
formatted_task1161_coda19_title_generation.json
2024-11-28
formatted_task1164_coda19_section_correction_classification.json
2024-11-28
formatted_task1162_coda19_title_classification.json
2024-11-28
生成内容检测算法综述与实践 - 图像检测技术解析及视频音频检测现状调研
2024-12-16
formatted_task1170_xcopa_commonsense_reasoning_id.json
2024-11-28
formatted_task1168_brown_coarse_pos_tagging.json
2024-11-28
formatted_task1169_xcopa_commonsense_cause_effect_ht.json
2024-11-28
formatted_task1132_xcsr_ur_commonsense_mc_classification.json
2024-11-28
formatted_task1167_penn_treebank_coarse_pos_tagging.json
2024-11-28
formatted_task1153_bard_analogical_reasoning_affordance.json
2024-11-28
formatted_task1133_xcsr_nl_commonsense_mc_classification.json
2024-11-28
formatted_task1136_xcsr_fr_commonsense_mc_classification.json
2024-11-28
formatted_task1135_xcsr_en_commonsense_mc_classification.json
2024-11-28
formatted_task1134_xcsr_hi_commonsense_mc_classification.json
2024-11-28
formatted_task1138_xcsr_de_commonsense_mc_classification.json
2024-11-28
formatted_task1139_xcsr_ru_commonsense_mc_classification.json
2024-11-28
formatted_task1137_xcsr_pt_commonsense_mc_classification.json
2024-11-28
formatted_task1141_xcsr_zh_commonsense_mc_classification.json
2024-11-28
formatted_task1140_xcsr_pl_commonsense_mc_classification.json
2024-11-28
formatted_task1143_xcsr_it_commonsense_mc_classification.json
2024-11-28
formatted_task1142_xcsr_ar_commonsense_mc_classification.json
2024-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人