Ragflow框架的AI客服回答字数太长，如何优化控制在规定token内？

最新推荐文章于 2025-05-05 14:07:50 发布
最新推荐文章于 2025-05-05 14:07:50 发布
阅读量32 收藏
点赞数
分类专栏： RagFlow 文章标签： 人工智能 rag ragflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42672685/article/details/147048030
版权

环境：

Ubuntu20.04

Ragflowv0.17.2

问题描述：

Ragflow框架的AI客服回答字数太长，如何优化控制在规定token内？

在这里插入图片描述
在这里插入图片描述

解决方案：

1.提示词优化

禁止回复大段文字，任何回答输出的字符一定要保持在30个token。（效果不明显）
在这里插入图片描述

2.代码优化

优化下面模块


D:\下载\rd\ragflow\rag\llm\chat_model.py


```bash
#
#  Copyright 2024 The InfiniFlow Authors. All Rights Reserved.
#
#  Licen
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【RAG实战】核心技术与优化
sysu_lluozh
03-12 726
在一个完整的大型RAG流程中，除了需要使用文本召回模型，还涉及提示词的设计、文本切块、向量数据库的选择、召回环节的优化、RAG效果的评估以及LLM能力优化等环节
RAG流程中存在的问题及优化方法、研究前沿
qq_32907491的博客
08-04 1024
以一篇专业的论文切入，让我们来看看当前RAG的基本框架存在哪些问题。论文：《主要在下面这张图，文中提出了当前RAG存在的7个痛点（问题）：理解下图中的信息：基本RAG流程可以分为两大块：文本向量化构建索引的过程（Index Process）和 检索增强问答的过程（Query Process）。在文本向量化构建索引的过程中，可能的缺陷如下：内容缺失：原本的文本中就没有问题的答案在检索增强回答的过程中，可能的缺陷如下：错过排名靠前的文档提取上下文与答案无关。
大模型知识库关键技术组件
solar7799的博客
08-03 889
RAG的三个方面的挑战，检索质量、增强过程和生成质量，哪些组件工具可以解决
看了那么久RAG还是调不明白？万字长文给你讲透RAG问题与优化策略！掌握Agent必备技能！AI学习你不能错过的RAG最全科普！
2401_85325397的博客
03-01 1492
最近在落地实操的RAG+LLM的Agent的配置过程中各种碰壁啊!无所不用其极的尝试各种办法，还是发现对于模型输出的结果的准确度和质量收效有限，带着一肚子的问题，笔者这回想喝到假一起深入探讨针对 Retrieval-Augmented Generation (RAG) 在实际应用中遇到的主要痛点所提出的解决方案，好能在日常的 RAG 模型开发与优化过程中，高效且有效地克服这些难题，进一步提升自然语言处理(NLP)领域的整体表现力和实用性。
我不信看完这篇你还不懂RAG：RAG技术概述，建议收藏
2401_85327249的博客
04-24 778
检索增强生成（Retrieval Augmented Generation），简称 RAG。它旨在通过在生成回答前主动检索相关信息,将实时、准确的知识作为上下文提供给模型,从而显著提升了回答的质量和可靠性。
我不信看完这篇你还不懂RAG：RAG技术概述
zhishi0000的博客
03-20 914
框架名称核心特点优势劣势/局限适用场景UltraRAG动态记忆管理、多模态支持、自适应优化（DDR）、端到端训练支持- 支持多模态数据（文本、图像、空间数据） - 动态更新知识库，响应实时性强 - 性能优化（如DDR策略） - 开源灵活- 需较高计算资源（GPU） - 配置复杂度较高复杂问答、多模态分析、企业知识库（如医疗、金融）中文友好、可视化界面、流式输出、支持离线部署- 中文场景优化 - 开箱即用，易集成 - 支持本地化部署（隐私保护） - 社区活跃。
深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent
lengm
12-28 2045
深入浅出：万字长文从入门到精通大语言模型LLM
基于Deepseek系列的大模型思考探索
年轻即出发，
02-13 1436
综合来看，如果您是专业的科研团队，拥有强大的计算资源，追求极致的推理速度，那么 SGLang 无疑是首选，它能像一台超级引擎，助力前沿科研探索；要是您是普通的个人开发者、学生，或是刚踏入 AI 领域的新手，渴望在本地轻松玩转大模型，Ollama 就如同贴心伙伴，随时响应您的创意需求；Ragflow，比较笨重，具备用户管理，集成了RAG，速度很慢，使用软件涉及了es，minio，mysql等，基于助手的产品设计思路不苟同（http://10.1.12.10:80/）开源大语言模型，采用7B和67B两种配置；
全网最新免费开源的ocr文字识别开源项目盘点整理，附项目开源地址，支持离线部署使用，支持多种语言识别和API调用以及第三方集成，支持各种证件、发票、通用模型识别，支持复杂文本、各种图片、文档、长文本等
代码讲故事
06-19 7784
全网最新免费开源的ocr文字识别开源项目盘点整理，附项目开源地址，支持离线部署使用，支持多种语言识别和API调用以及第三方集成，支持各种证件、发票、通用模型识别，支持复杂文本、各种图片、文档、长文本等。
自然语言处理实战：用CRF打造高精度命名实体识别系统
Loving_enjoy的博客
05-03 838
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 755
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 802
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 1431
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
我让AI接管了浏览器！Browser Tools MCP教程：自动Debug+截屏+SEO分析
seeyouintokyo的博客
05-03 1106
小白友好，且效率翻倍
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
最新发布
weixin_52582710的博客
05-05 567
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1281
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
生产级RAG系统一些经验总结
yanqianglifei的专栏
05-01 870
可能需要修剪或总结它们。一种常见方法是先检索，然后运行较小的语言模型或启发式算法，将每个检索到的文档总结为一段话，然后将这些摘要输入最终的语言模型。这有时被称为上下文压缩或自适应上下文。LlamaIndex等工具可以自动执行第二阶段，使用语言模型在最终答案之前将初始检索集压缩成更短的形式。仅在绝对需要时使用此方法，因为任何摘要都是额外的生成步骤，可能会引入自己的错误。随着2025年16k+标记模型的出现，如果适合，许多RAG系统尝试只提供原始文本，因为这保留了最大的细节。
Deepseek基础-api key申请及应用(java)、硅基流动api key申请及应用(dify)
简单记录
05-05 658
要识别的车票和发票图片。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 993
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
如何通过Token优化策略进一步控制API调用成本？
03-16
<think>好的，用户的问题是关于如何利用Token优化策略来减少API调用的成本。首先，我需要明确Token在API计费中的作用。通常，像Llama 3这样的模型会按照输入和输出的Token总数来计费，所以减少Token使用可以直接降低成本。接下来，我需要从几个方面来考虑优化策略。 首先，输入数据的优化。用户可能在发送请求时，可能包含冗余的信息。例如，如果API允许上下文对话，用户可能会重复发送之前的对话历史，这样会增加Token数量。这时候，可以考虑截断或简化历史记录，只保留关键信息。另外，提示词的设计也很重要。使用更简洁直接的指令，避免冗长的描述，可以有效减少输入Token。例如，使用“总结以下内容”而不是“请帮我将下面的内容进行概括，要求简洁明了”。 其次，输出的控制。很多API支持设置最大生成长度，比如max_tokens参数。合理设置这个参数，避免生成过长的回复，可以节省输出Token。同时，可以要求模型输出更简洁的格式，比如使用列表或缩写，减少不必要的描述词。此外，流式响应可能有助于及时截断不需要的内容，但需要确认API是否支持这一点。 然后，缓存和复用。对于一些常见的查询，如果响应内容变化不大，可以考虑缓存结果，避免重复调用。例如，用户经常询问天气情况，可以将当天的天气结果缓存起来，后续直接使用，减少API调用次数。另外，可以将多个请求合并成一个批量请求，如果API支持的话，这样可能享受批量处理的折扣，降低单位Token成本。 技术实现方面，需要监控和分析Token的使用情况。通过API返回的元数据，统计每次调用的输入输出Token数，找出高消耗的环节，进行针对性优化。同时，评估是否有必要使用更复杂的模型，有时候基础模型就能满足需求，而高级模型虽然能力强，但Token成本更高。 最后，参考站内的引用内容，用户需要高效利用模型资源，减少冗余操作。比如引用[1]提到简洁明了的回复能节省费用，引用[2]建议优化输入数据和合理安排资源。这些都可以结合起来，形成系统的优化策略。 可能用户没有明确提到的深层需求是，如何在保证服务质量的前提下进行优化，而不仅仅是减少Token数量。因此，在建议中需要平衡简洁和有效，避免过度优化导致响应质量下降。此外，用户可能还关心如何实施这些策略的具体步骤，比如如何截断历史记录，如何设置参数等，这些都需要在回答中给出具体例子或方法。 总结下来，我需要从输入优化、输出控制、缓存复用、技术实施四个方面展开，结合具体例子和站内引用，提供清晰可行的策略，帮助用户有效降低API调用成本。</think>### 如何通过Token优化策略降低API调用成本？ #### 1. **输入数据优化** - **精简提示词** 使用简洁的指令代替冗长描述。例如： **冗余写法**：$“请帮我将下面的内容进行概括，要求简洁明了，不超过100字。”$ **优化写法**：$“总结以下内容（100字内）：”$ 可减少约30%的输入Token[^1]。 - **截断冗余上下文** 若API支持对话历史，保留最近3-5轮对话即可，避免携带过多历史Token。例如： ```python # 仅保留最后3轮对话 truncated_history = chat_history[-3:] if len(chat_history) > 3 else chat_history ``` #### 2. **输出控制** - **限制生成长度** 通过`max_tokens`参数约束输出Token数量。例如设置`max_tokens=200`，避免生成超长文本。 ```python response = model.generate(prompt, max_tokens=200) ``` - **结构化输出要求** 明确要求模型返回列表、简写或特定格式，例如： $“用JSON格式回答，包含‘结论’和‘理由’两个字段。”$ 可减少自然语言中冗余的衔接词。 #### 3. **缓存与复用** - **高频结果缓存** 对常见查询（如FAQ）缓存响应结果，减少重复调用。例如： ```python if user_query in cached_responses: return cached_responses[user_query] ``` - **批量请求合并** 若API支持批量处理，将多个请求合并为单次调用。例如： ```python batch_prompts = [prompt1, prompt2, prompt3] batch_responses = model.batch_generate(batch_prompts) ``` #### 4. **技术实现优化** - **监控Token消耗** 分析API返回的`usage`字段（如`input_tokens`和`output_tokens`），识别高消耗场景。 ```python print(f"本次调用消耗Token: {response.usage.total_tokens}") ``` - **模型选择策略** 优先使用轻量级模型（如`llama-3-8b`）处理简单任务，仅在复杂场景下调用大模型（如`llama-3-70b`）。 #### 平衡优化与效果 需验证优化后输出的准确性，例如通过自动化测试或人工抽检，避免过度压缩导致信息缺失[^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玩人工智能的辣条哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值