张伟的专栏

Knowledge Pipeline是Dify 1.9.0引入的全新知识处理架构，它将传统的文档处理流程模块化，让用户可以像搭积木一样自由组合各种处理节点。文档上传MinerU解析图像提取URL存储Parent-Child分块知识库索引混合输出Dify 1.9.0的Knowledge Pipeline功能真正实现了多模态RAG的突破，通过MinerU工具的强大解析能力，让AI助手具备了"看图说话"的能力。无论是技术文档、学术论文还是商业报告，都能得到完整准确的理解和回答。

复杂排版 PDF 的解析能力，已成为衡量企业文档自动化处理水平的重要指标之一。然而，在实际操作中，大多数企业并不具备自主研发 PDF 解析系统的能力，更多依赖于开源工具来完成这一任务。因此，选择一款功能强大、适配性强的 PDF 解析工具，显得尤为关键。在本文中，笔者实测了七款主流的 PDF 解析工具（包括 MinerU、Doc2X、maker、Nanonets-OCR-s、olmOCR、surya 等），综合对比其在复杂排版文档中的表现后发现，MinerU 在多个维度上最贴合笔者的真实工作场景的需求。

节点，下载图片，在回复节点展示图文；如果不包含图片，回复节点只展示文本。对用户的问题进行回答，当回答中包含图片时，将图片在聊天窗口展示出来。节点就是根据用户的输入，从知识库中匹配出最适合的片段，交给下一个。节点中检索出的知识片段，生成符合用户问题的回答。不是本小节重点内容，我们将在之后的小节中详细讲解。的前端展示页面应该是解析的富文本，所以也可以在。下载图片，用户在最后的回复节点中展示。节点就是根据用户的输入（问题）和从。字段，如果包含图片，则将图片。的图片展示语法，也可以展示。根据群友的补充，也可以在。

3月28日，纷享销客主题研讨会在宁波成功举行，70+当地企业CIO、数字化负责人齐聚一堂，共同探讨AI技术驱动销售增长的新范式。纷享销客CRM产品VP刘抗、浙江分公司生态渠道总监孙石磊现场发表主题演讲，系统性阐述了企业级AI销售管理体系与落地路径，并与在场嘉宾开展深入交流。

当数字化转型的浪潮席卷全球经济，销售行业却仍在经历着「信息黑洞」与「人效天花板」的双重困境：据统计，68%的销售团队因信息滞后导致丢单率激增，27%的商机流失源于关键对话的误判。此刻，每个销售组织都站在选择的十字路口：是继续用血肉之躯对抗指数爆炸的信息洪流，还是让AI成为跨越认知边界的诺亚方舟？「AI实战派」直播第一期，纷享销客CRM产品VP刘抗从销售人员和销售管理者的视角出发，剖析AI如何破解工作中的痛点，并通过销售Agent的三大核心功能，揭示如何利用AI多拿订单。

向量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。每个向量都有一定数量的维度，根据数据的复杂性和粒度，可以从数十到数千不等。向量通常是通过对原始数据(如文本、图像、音频、视频等)应用某种转换或嵌入函数来生成的。嵌入函数可以基于各种方法，如机器学习模型、词嵌入和特征提取算法。向量数据库的主要优点是，它允许基于数据的向量距离或相似性进行快速和准确的相似性搜索和检索。

扩展到三维向量空间中（向量的范围是` [0, 1]`），两个向量/点之间最大距离为 `√3`，并不是 `√2`，所以直接套用公式，可能会出现负数得分，在 `N` 维向量空间下，两点的最大距离是 `√N`，所以出现负数的概率大大增加。由于向量数据库存储的是向量，因此需要传入一个。`similarity_search_with_score()`：携带得分的相似性搜索，参数和 `similarity_search()` 函数保持一致，只是会返回得分，这里的得分并不是相似性得分，而是欧几里得距离。

现阶段的 BrowserUse 个人认为它主要是有几个创新点，一个是开创性地构建带标识 Dom 树结构的方式来辅助大模型去理解网页结构和内容，并能通过 index 去精确定位到 clickable 元素，另一个是它串起了 LLM 对于网页内容的理解、next goal 思考、决策路径、action 行动的流程。其本质上还是使用 LLM + Playwright 来实现 AI 操作浏览器，而未来如果基础模型的多模态能力能够有大幅度的提升和完善，那么或许可以直接通过理解复杂的视觉内容来更进一步理解网页内容！

我用RTX 3060（12GB显存，比3060 Ti多4GB）跑Qwen3-Next-80B，处理10万token的中文小说摘要，显存占用8.2GB，SSD用了210GB，生成速度0.6 token/秒，花15分钟生成了2000字的摘要，比用在线大模型API省钱多了。1. 中文Tokenizer适配：国产大模型的分词器（Tokenizer）和英文模型不同，中文单字、词语的token长度更短，KV缓存的体积也更小——同样是10万token上下文，中文文本的KV缓存比英文少30%，SSD占用进一步降低；

Lite-MCP-Client是一个基于命令行的轻量级MCP客户端工具，可以连接到多种MCP（Model-Chat-Prompt）服务器，帮助用户轻松调用服务器提供的工具、资源和提示模板。该客户端支持与大型语言模型集成，实现智能化查询和处理。

Oumi 是一个完全开源的 AI 平台，简化从数据准备、模型训练到评估和部署的整个生命周期。

添加一个<选择器>节点，加一个分支，变为三个分支，这里依次输入file和image变量，第三个即为content，不用输入。工作流的整体概览和搭建思路如图，主要是选择输入类型 - AI出题 - 整合成文档，我就以这三大部分给大家讲解。这一部分讲解如何进入空间并新建一个工作流，熟悉的朋友可以跳过，直接去03工作流搭建部分。点击确认进入工作流界面，自带开始和结束节点，通过添加一个个节点来进行搭建。3. 输入名称和描述，注意名称只能用英文和英文符号，描述可以写中文。，输入读取的数据，填写系统提示词。

这两天在研究n8n,我发现，n8n的数据，包括工作流的配置，全部都是json格式的，这意味什么？过程非常顺利哈，就是第一遍它没有自动帮我把工作流创建到我的n8n.然后用提示词强调了一下，接着它就调用工具把工作流部署到我的n8n了，看到这里生成了工作流ID说明成功了。因为我抓的网址是动态加载数据的，这个爬取还是有一定难度的，要使用模拟浏览器什么的。不过，我只测试了一两遍，不够说明哈，各位道友，有兴趣的，可以试试咯。你看，AI会自动调用工具，了解n8n的使用，以及各个节点的功能，找到适合的节点进行工作流创建。

销售任务规划Agent、线索清洗Agent、销售策略Agent和到店邀约Agent正是为了解决汽车销售的全流程痛点而生的，这四个Agent可以根据业务目标为销售进行初步的线索筛选，检索出销售应该优先处理跟进的线索，并且根据销售的需求，进行AI电话外呼或根据用户画像推荐销售话术，自动打给消费者邀约试驾和沟通购车意向，等消费者试驾完成后，试驾报告Agent会再进行电话回访，并且生成消费者的试驾报告，提供销售评估后续的销售策略。具体而言，他们40%的时间用于电话沟通，以了解用户的偏好和购车意向。

性能领先：Agno 在实例化速度和内存占用上大幅领先其他框架推理优先：将推理作为核心能力，而非后期添加的功能生产就绪## 内置 FastAPI 路由api = AgentAPI(agent=agent) # 0 到生产部署4. 模型无关：统一接口支持所有主流模型提供商5. 原生多模态：不需要额外配置即可处理多种媒体类型Agno 作为新一代多智能体系统框架，通过其独特的架构设计和技术选择，在性能、易用性和功能完整性之间找到了优秀的平衡点。极致的性能表现：微秒级实例化和千字节级内存占用推理能力内置。

又一位学员报喜！，年包30W左右，薪资怒涨50%！为了助力秋招，，我将手把手带大家实战一个真实企业级项目，此外也增加了多模态专题【面试常考】。准备秋招的小伙伴们，卷起来吧！vLLM V1 引擎通过优化其核心引擎循环，将输入处理并行化，并引入了分段式 CUDA 图，从而实现了更灵活、动态的执行模型，显著降低了在线服务的延迟（TTFT 和 TPOT），同时保持了高吞吐量。其设计目标是确保 GPU 不闲置，通过 API 服务器和 EngineCore 之间的协作来高效调度和执行任务。

知识图谱的内涵更加丰富，是知识的另一种表现形式，中关村科金打造的得助知识图谱可为企业提供多源异构数据知识整合服务，已广泛应用于金融、保险、制造、医美等领域积累了10+行业知识，KBQA知识问答准确率超过90%，实现百万级图计算秒级响应。），从知识库中已有的实体关系数据出发、经计算机推理，建立实体间的新关联，从而拓展和丰富知识网络，通过知识推理能发现新的知识，简而言之通过各种方法获取新的知识或者结论。的抽取效率，我们开发了自动标注工具（如下图所示），按照上述三种维度进行数据自动标注，标注的数据按照。

从开源到企业，从Red Hat到Kubernetes再到NVIDIA和Moonshot，表现最好的LLM推理堆栈都在押注LMCache。如果你正在构建可扩展、高速或成本效益高的系统，那么可能也是时候这样做。无论你是在运行一个长上下文聊天机器人、文档摘要器还是多租户API后端，性能都取决于你在计算节点之间如何管理KV缓存。现代基于Transformer的LLM如LLaMA、Mixtral和DeepSeek需要持久化的注意力键/值缓存来高效地处理长提示。和。这就是。

LMCache 是 vLLM 等运行大型 AI 模型的系统的小助手。它保存这些被称为KV 缓存的东西——基本上是 AI 阅读文本后的便利贴。LMCache 不会每次都涂写新的笔记，而是将它们放在手边，这样你的 AI 就不会浪费时间或消耗昂贵的 GPU 算力。你的 AI 开始以惊人的速度回答问题——有时快七倍，不开玩笑。它使用更少的 GPU 资源，所以你不会因为云账单而哭泣。它非常适合聊天机器人或应用程序，在这些应用中，你会一直看到相同的文本，比如搜索结果或冗长的设置消息。

OpenRLHF 是由 OpenLLMAI 团队于2024年推出的开源强化学习人类反馈（RLHF）框架，旨在解决大语言模型（LLM）对齐训练中的多模型协调瓶颈与超大规模扩展难题。人类偏好胜率：在Anthropic HH数据集上，OpenRLHF微调的Llama3-70B模型胜率达 79.3%，超越基础SFT模型 15.2%。模型协调复杂：需同步管理行动者（Actor）、评价者（Critic）、奖励模型（RM）、参考模型（Reference）四个模型，GPU资源争夺严重。

在AI应用开发中，调用不同大模型（如OpenAI、Azure、Anthropic等）的API接口碎片化问题长期存在——每个平台的接口格式、参数命名、错误处理逻辑均不兼容，开发者不得不为每个模型单独编写适配代码，维护成本极高。而开源工具LiteLLM的诞生，彻底终结了这一痛点，它以统一接口+智能管理为核心，让多模型调用变得像点外卖一样简单。- 成本控制：相比UnionLLM的粗放式管理，LiteLLM支持按项目隔离预算，避免资源浪费。1. 企业级AI中台：统一管理多个业务线的模型调用，隔离数据与权限。

使用搭建 AI 图片生成助手并不是什么难事，而且不需要你会编程知识，也能轻松实现。所以，接下来本文就带你来避开这些坑。

今天主要带大家了解并实现了基于 Dify 工作流构建 Nano Banana（Gemini 2.5 Flash Image）图像生成与编辑系统的完整流程，该系统以开源的 nano_banana 插件为核心，结合 Dify 平台的工作流逻辑和 LLM 提示词优化能力，形成了一套覆盖文生图、图生图及多风格转换的图像生成方案。我们看一下生成的效果。今天的分享就到这里结束了，我们下一篇文章见。这个地方主要是目的是AI 生成的提示词内容比较多，我们关心的是它的核心系统提示词，我用代码正则表达式提取这些核心提示词。

Mooncake 这篇论文核心是为了解决 GPU 资源有限且请求文本较长的场景，提出的 early-rejection 方案可以参考一下。具体实际应用场景下的大模型推理分布式部署，还需要结合业务情况来具体优化，但是常见的优化手段，如 kv cache 量化、P 到 D 按 layer 传输、prefix cache 命中率提升这些都是必须的。另外包括异构场景下，P 和 D 不同的分布式配置，会引入什么问题，又会有哪些优化，论文并没有涉及。发布于 2025-05-12 21:46。

本文中对比的三款显卡显存容量不同。P40和Titan RTX拥有24GB显存，而RTX A3000为12GB。选择时需根据您要运行的模型大小（尤其是量化后的大小）来决定12GB是否足够。在选择用于大模型本地推理的显卡时，显存容量、计算性能、功耗和使用便利性是关键考量因素。这三款拥有大显存的专业/高性能显卡进行详细对比，帮助您做出明智的选择。

在保险外呼中，重复的福利活动、保单推销被秒挂断……在通话中，坐席代理实时分析用户语气、提问内容，当探测到用户不悦，则不会继续傻瓜式推荐，快速播放结束语。基于此，容联云打破传统语音交互的局限，依托大模型技术与金融业务逻辑的深度融合，推出「大模型语音坐席代理」，以“更懂金融、更懂客户”为核心，让Agent真正成为金融营销服中的“金牌坐席”容联云坐席代理能够识别用户负面情绪，自动切换分期策略话术，在传递催收信息的同时，充分理解用户的需求和情绪，使催收工作更具温度和效果，既提高催收成功率，又维护良好的客户关系。

同样通过调用第三方大模型获取每个类别（菜品）的简介以及对应的食谱，这类数据在全参数训练或微调时能够保持模型的基本语言理解能力以及增强泛化能力，在构建训练数据时按比例加入可提升训练效果。干锅土豆片的做法步骤如下：1. 土豆去皮后切成均匀薄片，用清水冲洗去多余淀粉，沥干备用。2. 锅中倒入适量油，放入花椒和干辣椒，小火慢炸出香味，不要炸糊。3. 下土豆片，大火翻炒至表面微微焦黄，土豆片变软。4. 淋入辣椒油，继续翻炒均匀，让土豆片充分裹上红亮的辣油和香料。5. 加入切段的青蒜，快速翻匀，撒适量盐调味。

今天要给你们介绍一个超实用、超硬核的项目——！这个由开发者Haris Musa打造的开源神器，简直是Excel爱好者和AI开发者的福音！无需安装Microsoft Excel，就能用AI轻松搞定Excel文件的创建、编辑和数据分析，话不多说，赶紧来看看它的魅力吧！

在 vLLM 的部署实践中，Production Stack（vLLM 官方生态中的核心组件）已经原生支持 LMCache，并通过智能路由机制将推理请求按需指向对应的 KV 缓存位置，实现了跨请求、跨会话的缓存共享与复用。在这一背景下，LMCache 应运而生，作为一种新型缓存系统方案，旨在通过精准的 KV 缓存调度与跨请求共享机制，显著降低推理成本，同时优化响应延迟，从而推动大模型推理基础设施向更高性能、更低成本的方向迈进。这种插件式设计不仅增强了系统的可扩展性，也为企业部署提供更广泛的适配空间。

过去优化 LLM 推理只有两条路：加 GPU 或量化模型。而 ​​LMCache 走出了第三条路——用系统设计榨干硬件潜力​​。它像给大模型装上“记忆外挂”，让重复计算成为历史。项目已在 GitHub 开源（），文档里有不少社区贡献的 benchmark 脚本。

这一开源工具允许用户将AI交互内容存储在本地，并通过MCP协议共享至支持的客户端，如Claude、Cursor和Windsurf，只需维护一份记忆内容即可实现跨工具上下文同步。然而，社交媒体指出，工具的客户端兼容性目前局限于MCP支持的应用，需更多主流工具（如VS Code的GitHub C opilot）加入MCP生态。跨工具项目流:用户在Claude Desktop定义项目技术需求，在Cursor构建代码，在Windsurf调试问题，所有工具共享OpenMemory中的上下文，避免重复说明。

大型语言模型（LLM）凭借其强大的语言理解和文本生成能力，已成为内容创作等领域的核心驱动力。然而，在实际生产环境中部署LLM服务面临诸多挑战，尤其是高推理延迟和资源消耗巨大的问题，严重制约了其应用效率与用户体验。vLLM是一个专为高效LLM推理和服务而设计的高性能开源框架。其核心创新在于采用了先进的支持更高的并发请求处理能力。加快单次请求响应速度。更有效地服务更长上下文或更大的模型。本文将聚焦于使用vLLM部署模型，构建智能客服场景下的推理服务。

与常规 LLM 相比，推理型 LLM 在回答问题前，往往会先将问题拆解为更小的步骤（通常称为推理步骤或思考过程），也可以说是思维链COT。普通大模型直接给出答案，没有给出求解过程。推理型大模型会将推理过程和答案一起输出。那么，“思考过程”、“推理步骤”或“思维链”（CoT, Chain-of-Thought）究竟意味着什么？​编辑细说复旦大学，斯坦福大学智能代理AI-Agent（二更）281 赞同 · 16 评论文章​编辑大模型中的思维链、思维树、思维图19 赞同 · 2 评论文章。

MemU 打破传统黑盒向量存储模式，将记忆以可读文档形式组织，存储于智能文件夹中，由「记忆代理」自动管理：动态筛选需记录的内容、更新旧记忆、归档无效信息。区别于传统向量嵌入的不可读存储，MemU 采用结构化文档组织记忆，支持人工直接查看（透明化AI记忆内容）、手动编辑（修正错误记忆）及实时分析（统计与可视化），兼顾调试便捷性与数据可操作性。例如提及“上周看的电影”时，能快速关联用户“电影偏好”“观影好友”等延伸信息，强化上下文理解的连贯性。：记录用户之间的故事、情绪、笑点，实现“性格成长”。

Mem0 是一个轻量级、可扩展的长期记忆框架，支持本地部署和云端使用。其设计初衷是为 LLM 提供结构化的记忆支持，帮助智能体记住用户偏好、背景信息等，从而提供更个性化、更连贯的回答。Mem0 作为一个易用、灵活且功能强大的记忆增强框架，极大地扩展了大语言模型的上下文记忆能力。无论是构建常见的多轮对话机器人、智能搜索系统还是个性化推荐服务，Mem0 都是一个非常值得尝试的工具。

同时，针对升级过程中可能遇到的MoE模型与FP8量化兼容性问题（如"output_size not divisible by block_n"和"start out of range"等错误），提供详细解决方案。MoE模型中moe_intermediate_size（如768）需要被tensor_parallel_size（TP）和block_n同时整除。在您的错误日志中，可以看到大量/vllm/v1/...路径，这正是新v1引擎的代码结构，与旧版有着本质区别。然而，这也带来了新的挑战…

无论开发一个简单的原型，还是打造一个面向生产的复杂系统，FastAPI MCP 都能提供足够的灵活性与精细的控制能力，帮助您高效地将现有 API 功能安全、准确地暴露给 AI 模型使用。借助 FastAPI MCP 服务器的支持，开发者可以更高效地将现有的 API 接口集成到 AI 模型的工作流中，从而实现模型对工具的智能调用。由于所有的 API 逻辑都维护在一个单一的真实来源中，任何更新或修改都会自动同步到所有相关的应用和服务，包括那些由 AI 模型使用的部分。，获取所需的实时信息。

在 v1.0.0 之前，Dify 平台面临一个关键挑战：模型和工具与主平台高度耦合，新增功能需要修改主仓库代码，限制了开发效率和创新。为此，Dify团队重构了 Dify 底层架构，引入了全新的插件机制，带来了以下四大优势：组件插件化：插件与主平台解耦，模型和工具以插件形式独立运行，支持单独更新与升级。新模型的适配不再依赖于 Dify 平台的整体版本升级，用户只需单独更新相关插件，无需担心系统维护和兼容性问题。新工具的开发和分享将更加高效，支持接入各类成熟的软件解决方案和工具创新。

整体传递出喜悦、好奇与无限活力，展现生物的顽皮与世界的魔力，唤起观者的童真与对冒险的想象。为了测试Genie 3创建的世界对未来智能体训练的兼容性，我们为最近版本的SIMA智能体生成了世界，这是我们用于3D虚拟环境的通用智能体。他们强调，模型目前仍是研究原型，尚未公开接口，但未来有望与语言模型和三维AI相结合，成为开发者构建互动内容的基础工具。节目用一句形象的例子来说明Genie 3的速度——你只需输入“无人机飞过一片湖面”或“雪坡”，模型大约三秒就能生成这个逼真的世界，然后你可以在其中实时移动和互动。

Sub-agent 就像是IDE(集成开发环境) 中的一个专业的团队成员。拥有特定的目标使用独立的上下文窗口可以被限定使用特定的工具遵循自定义的系统提示词它能独立工作并返回专注的结果。打开 sub-agent 的用户界面 (UI)：/agents创建一个新的智能体并选择其作用范围定义您的智能体保存以备后用演示如下：现在，让我们构建一个 sub-agent 团队，看看它们的实际应用。代码审查员调试器数据科学家网络研究员接下来，我们将逐一详细介绍每一个智能体。