- 博客(59)
- 收藏
- 关注
RSS订阅原创 LazyLLM黑科技 | 一条 pipeline 为什么能自己把服务全拉起来？聊聊 Flow 的设计之道
如果只把 LazyLLM 的Flow看成一个更好写的 pipeline，就低估它了。它真正解决的是：当 AI 应用从 Demo 走向工程化部署时，如何把数据流编排、参数透传、模块发现、服务启动和服务发现，统一进同一个抽象里。用Flow组织算法链路；用Bind组织参数关系；用把整条链路接入部署体系。所以，Flow 在 LazyLLM 里从来不只是“数据管道”，而是 AI 应用从原型走向工程系统的一座桥。
2026-04-07 15:34:10
285
原创 LazyLLM黑科技 | 同一个方法，结果却完全不同？问题竟然出在“谁调用”
但问题在于，这两种操作，写法往往是一样的，于是就很容易出现这种情况：本来只是想改当前对象，结果把全局改了；通过这个例子，你可以更直观的感受到 @DynamicDescriptor 在你的真实代码中能起到什么作用，可以充分利用它对调用者的感知能力，优化整体类和函数的设计。因此，被 DynamicDescriptor 修饰的方法，可以统一写成如下写法，而不需要提前决定它是实例方法还是类方法。针对这个问题，真正的难点，其实不在于实现两种行为，而在于如何在不增加接口复杂度的前提下，让系统能够感知调用主体。
2026-04-03 16:32:23
342
原创 LazyLLM黑科技 | 你的框架想“隐身”？聊聊 LazyLLM 的配置体系设计哲学
config读取环境变量时，会在前面加一个默认的前缀LAZYLLM_，比如上文中的CUDA_VISIBLE，使用环境变量设置时就要export LAZYLLM_CUDA_VISIBLE=xxx。**依赖逆置：**config本身是框架的底层模块，是其他业务模块的依赖，但是如果在config模块中要感知上层模块要配置什么类型的默认值，感知上层模块的业务，就打破了分层。：所有已注册的配置，统一进入 `lazyllm.config`，调用方只管 `lazyllm.config[“xxx”]`，不关心配置来自哪。
2026-03-18 15:01:58
306
原创 LazyLLM黑科技 | 不装全家桶也能跑？LazyLLM 的按需动态加载方案
通过上面的介绍，相信你已经对 LazyLLM 这套"按需加载 + 集中检查"的依赖管理思路有了更直观的认识：不用的能力不必提前安装，真正用到时再一次性把依赖校验清楚，并给出可直接执行的安装指令。如果你也在维护一个功能模块多、依赖差异大的 Python 项目，这种设计思路通常会带来非常实际的收益：启动更快、环境更稳、问题暴露更早，用户使用门槛也更低。通过__getattr__ 实现动态加载用户想要加载的子模块，在模块名合法的情况下动态调用该子模块内部的依赖加载流程，能让用户省略子模块路径。
2026-03-10 16:46:31
315
原创 LazyLLM黑科技 | 继承就能自动注册？元类注册机制深度解析
无论是类模块还是函数模块，底层都走同一套自动注册逻辑，所有模块统一纳入同一个命名空间进行管理。整体机制可以概括为两种模式：“
2026-02-28 14:31:22
845
原创 从“会聊”到“会干活”：LazyLLM + Skills 实战指南
很多团队做 Agent 都会经历同一个阶段：Demo 很快，落地很慢。新需求一来，就要重写 Prompt、重配工具、重测流程；场景一变，之前的能力几乎无法直接复用。看起来 Agent 已经能对话、能执行，但距离稳定交付，还缺一套可沉淀、可复用、可协作的能力组织方式。这正是 Skills 的价值：用自然语言描述任务能力，并结合可复用的文档与脚本，把能力封装成模块——像插件一样安装、复用、迭代。在 LazyLLM 最新版本（v0.7.5）中，你可以通过 LazyLLM 让自己的 Agent 快速接入 Skill
2026-02-24 15:06:55
645
原创 拆解 LazyLLM：10 个你可能忽略的工程黑科技
如果你一路看到这里，说明你大概率已经在真实工程里和大模型打过交道了。后续文章里，我们会继续拆解更底层的东西：为什么要这样设计、当时有哪些取舍、哪些地方其实还在不断演进。如果你对这些工程细节感兴趣，欢迎持续关注。Lazy 的黑科技，等你来一起揭秘~欢迎升级体验 LazyLLM最新版本，请大家去github上点一个免费的star，支持一下～
2026-02-02 11:41:05
683
原创 一行代码到生产级应用！LazyLLM Agentic 应用开发快速上手
无论是简单的任务执行，还是多工具协同的复杂场景，都能以。通过统一的OnlineModule，一行代码即可调用文本生成、视觉模型、Embedding向量、文生图等各类模型，切换厂商或模型类型无需修改核心逻辑，极大降低试错成本。一行代码搞定大模型应用：从环境安装、API密钥申请，到模型调用、RAG系统搭建、Agent创建，全程代码演示，手把手教大家快速落地AI应用。以RAG系统为例，仅需十余行代码，即可完成文档解析、切片入库、多路检索、结果重排、模型生成的全流程搭建，结构清晰且可灵活调整。
2026-01-26 15:42:24
497
原创 实操指南 | LazyLLM × PPIO： 一站式构建 Multi-Agent
为应用开发过程中的全部环节（包括应用搭建、数据准备、模型部署、模型微调、评测等）提供了大量的工具，协助开发者用极低的成本构建AI应用，并可以持续地迭代优化效果。LazyLLM的一站式工具链配合PPIO的算力底座，为AI应用开发提供了一条“即开即用”的捷径。成功安装LazyLLM后，您可以在命令行中使用lazyllminstallxxx的命令，以针对不同的使用场景安装响应的依赖。目前，双方的适配已全面上线，欢迎各位开发者即刻接入体验，我们期待看到更多富有创造力的智能体应用在这一生态中诞生。
2026-01-26 15:15:19
556
原创 LazyLLM v0.7.1 重磅发布 | 智能体、RAG 与生态全面跃迁，报错体验史诗级提升
LazyLLM v0.7.1 相较于 v0.6.1 实现了重大飞跃，在。
2025-12-30 16:15:10
574
原创 LazyLLM教程 | 第19讲：高阶RAG：基于知识图谱的RAG
"知识图谱作为结构化知识的代表，正在深刻改变我们获取和利用信息的方式。在本文中，我们将从基础概念出发，首先解析。
2025-12-15 11:58:42
702
原创 UniParse 智能文档解析服务全面升级，开放企业级 API 接口！
商汤自主研发的现已全面升级，并正式对外开放！UniParse基于先进的大模型和智能Agent技术，不再止步于基础OCR识别，而是专注于复杂文档与票证的深度理解和信息提取，为企业提供“”的智能文档处理解决方案。
2025-12-03 15:55:54
421
原创 LazyLLM × 硅基流动：共造面向开发者的下一代智能应用底座
在大模型全面走向工程落地的当下，正式与达成深度合作，共同打造面向开发者的下一代智能应用底座。借助LazyLLM的一键接入线上模型API能力，硅基流动的大语言模型、多模态模型、向量与Embedding模型、文生图模型等已经完整接入，同一套接口即可覆盖从文本到图像、从检索到生成的全链路需求。这次合作带来的不仅是，还进一步：在LazyLLM中，开发者可以基于统一的模型接入层，灵活编排工具调用与工作流，结合对MCP等协议的支持，将检索、调用外部系统、多模型路由、长程记忆等能力封装为可协作的智能体网络。
2025-12-03 15:23:48
973
原创 UniParse：让多模态模型真正“读懂”文档的解析引擎
在多模态大模型迅速发展的今天，我们已经能让模型“看图说话”，甚至“读懂表格”，但要让模型真正理解复杂的文档结构（例如在PDF中准确识别章节、表格、公式与图像的逻辑关系）依然是一个未被彻底解决的问题。UniParse正是为此而生：它是一款，旨在将文档中的非结构化内容转化为结构化语义信息，使多模态模型能够地理解和利用文档内容。本文将从技术视角介绍UniParse，功能方面的介绍请移步：PDF、Word等文件中同时包含文字、表格、图片、公式、页眉页脚等多种内容，且层次不统一。
2025-12-03 14:21:35
586
原创 LazyLLM教程 | 第17讲：企业级RAG：权限、共享与内容安全的全链路方案
如果已有整理好的知识库文档，可直接通过指定文件路径来定义知识库。
2025-12-03 10:18:45
1151
原创 LazyLLM教程 | 第16讲：实战：打造具备宏观问答与图表生成功能的论文问答的RAG系统
（代码GitHub链接🔗：https://github.com/LazyAGI/Tutorial/blob/7abc91dbb82a007a78731845dd8c360ac0cc1e75/rag/codes/chapter16/statistical_agent.py#L1）
2025-11-24 11:53:51
676
原创 LazyLLM教程 | 第15讲：大视角问答：RAG如何支持跨文档、跨维度总结
统计问题其实就是与数据有关的各种问题，目的是从数据中找到有用的信息，帮助我们做决策或理解某些现象。比如现在有班级的考试成绩，问班级学生的考试成绩总体如何？平均分是多少？哪个科目最难？又或者有相关的销售数据，本月我们的销售额是多少？产品A的销售量是否有所增长？介绍完统计的基本概念，让我们仔细思考下。
2025-11-17 14:05:13
818
原创 LazyLLM教程 | 第14讲：实战：构建一个支持复杂学术论文问答的RAG系统
接下来就是工作流的搭建了，在 pipeline 中，依次定义了 Retriever、Reranker、formatter 和 LLM，分别用于检索召回相关文档、对召回文档信息进行重排序、对重排序后的 node 和 query 进行格式化，最后把检索到的内容输入给 LLM 来生成相应的答案回复。当提问的 query 来到之后先经过 embedding 模型，生成对应的 embedding 向量，然后使用这个 quey 和对应的 embedding 在数据库中进行检索，检索出相关的文本段出来，用于后面的处理。
2025-11-11 11:51:29
820
原创 LazyLLM教程 | 第13讲：RAG+多模态：图片、表格通吃的问答系统
通过共享的向量空间，文本和图像可以在相同的语义空间中进行比较和排序，从而提高多模态检索和生成的效率和准确性。然而，利用视觉多模态大模型对其进行嵌入和检索的相关方法有DSE、ColPali，M3DocRAG等，下文以ColPali为例，讲解与基于文档解析的方法之间的不同之处（图源ColPali论文）。因此，为了让普通 RAG 在更多真实场景下保持高效、智能的表现，我们亟需引入多模态能力，结合 OCR、图像理解等技术，让模型具备“读图识意” 的能力，从而真正实现对多模态信息的智能问答与生成。
2025-11-03 15:25:45
879
原创 LazyLLM x MemU：20 行代码打造有长记忆的知识问答助手
在开发知识问答助手的过程中，常见的挑战之一就是如何让智能体。很多应用在实现多轮问答时，会遇到信息丢失或上下文混乱的问题：用户提过的问题、提供的数据、甚至助手之前的回答都无法被系统持续记忆，导致体验断层。对于企业级知识库或面向用户的个人助手来说，这种缺失不仅影响回答的准确性，也使得智能体难以形成长期价值。构建一个能够记忆的问答系统，并非简单地将对话记录写入数据库。智能体需要对历史信息进行结构化存储、动态检索，并在生成回答时合理利用这些信息。
2025-11-03 10:33:52
241
原创 LazyLLM教程 | 第12讲：实践：用缓存、异步与向量引擎加速你的RAG
如果您的电脑上安装了Python，请通过下方命令安装lazyllm及必要的依赖包。关于 LazyLLM 的环境更详细的准备可以参考第二讲中对应的内容。成功安装LazyLLM后，我们进行如下组件的定义：大模型llm、向量模型embedding_model、重排模型rerank_model，这些组件在下面的实践过程当中会经常用到，该部分预先定义后，后面将不再重复定义。对于GPU资源较紧张的开发者，推荐您全程使用线上模型，以快速上手开发，降低使用门槛。线上模型的创建如下#L31。
2025-10-27 14:38:46
729
原创 LazyLLM教程 | 第11讲：性能优化指南：从冷启动到响应加速你的RAG
在前面的课程中我们从检索和生成两个角度学习了多种提升 RAG（Retrieval-Augmented Generation）系统效果的策略和相关评测方法。为了获得更好的检索召回效果，我们介绍了通过多个子查询、多个节点组、多个检索器进行检索，同时引入了重排序模型。虽然我们成功提升了系统的召回效果，但更多环节及模型的引入也增加了许多计算和推理成本，系统的整体执行时间随之增加。在实际应用中，除了系统效果，我们同样需要关注系统的执行效率，即系统是否能够快速响应用户请求，以及是否能够快速实现文档和算法的迭代。本篇教程
2025-10-21 11:20:43
1007
原创 技术拆解 | 表格解析（下）：从数据准备到模型训练的全流程实战详解
构建一个适用于表格解析的合成数据框架，需高度模拟真实表格的视觉布局与语义内容，包括表格线、单元格结构、文本元素及其空间逻辑关系。：使用高质量、高难度的业务数据（如特定行业的复杂报表），精细调整模型参数，提升其在特定场景下的解析精度。：要求覆盖不同行业领域（财务、医疗等）以及各种复杂度的表格类型，从基础表格到包含多层表头、多级合并单元格的复杂结构表格，以确保模型训练的全面性。在真实数据稀缺的场景下，数据合成技术通过生成高质量的仿真样本，能有效突破训练数据规模的瓶颈，为模型提供更充分的学习材料。
2025-10-15 15:30:33
751
原创 LazyLLM教程 | 第10讲：探索Deepseek：打造思维能力更强的RAG系统
每个问题都附有自然语言形式的答案，这些答案不仅提供了最终的结果，还详细解释了解题的步骤和过程。我们使用DeepSeek-R1来对小模型进行蒸馏，其过程大致如下图所示：首先我们选取 GSM8K 数据集，使用其训练集中的题目来不断喂给DeepSeek-R1来获得用于训练的问答对，在获得蒸馏训练集后为了查看思维链在其中的效果，我们还单独剔除了数据集中的思维链来作为另外一个训练集，基于这两个训练集分别微调出两个小模型，最后我们对微调后的两个小模型、DeepSeek-R1以及微调前的小模型进行评测以查看提升效果。
2025-10-14 11:40:36
978
原创 技术拆解 | 表格解析（上）：企业数字化与AI应用流程中的重要基础支撑
最后的匹配阶段，将前几步的输出（结构信息和内容信息），根据物理位置关系进行精准匹配与对齐，对应到统一的HTML的语义标签上，最终生成一个完整的HTML表格字符串。下图为表格的HTML表示（左边）以及对应的图片显示（右边），比如<td></td>表示单元格，colspan="2"表示合并单元格等，表格解析即是将图片解析为对应的HTML表达的过程。：表格作为人类高效组织数据的一种方式，数据质量高、知识密度大，表格解析后的数据可用于人工智能的模型训练和测试，是构成大数据时代数据养料的关键一环。
2025-10-10 14:28:50
908
原创 产品上线 | 商汤自研智能文档解析工具UniParse，重新定义文档处理！
适用于各类型文档解析（如财报研报、合同标书、期刊论文等），支持 PDF、扫描件、手机拍摄件等多种格式，自动识别文本结构、公式、表格、图像等内容，精准还原文档信息，助力企业与个人实现文档数字化归档、内容检索与风险管理。适用于各类型票证解析（如发票、车票、运单等），智能提取并结构化展示票证核心信息，助力数据高效归集与核对，加速业务流程自动化，辅助智能决策。对于保险理赔申请，文档解析可准确提取理赔材料中的关键信息，如事故类型、损失程度、保险责任等，加快理赔处理速度。
2025-10-10 14:11:41
392
原创 案例分享 | 不再隔空炫技，走向实用主义！商汤大装置破局大模型落地新范式
LazyLLM 团队基于各专业的语料特性，设计专属文档处理 Pipeline，将自定义切片策略（Transform）与节点分组策略（Node Group）以可插拔方式嵌入，兼顾跨专业的一致性与专业内的个性化。，商汤大装置为勘察设计人员打造了国铁勘察设计知识检索、知识问答、文本生成、文档审核以及多模态对话等功能，减轻报告撰写工作量，提高审核效率与质量，助力勘察设计工作。日常工作并不只需要问答。，算法可按模态自适应选择合适的嵌入模型，提升特征表征多样性，显著拓展多模态知识的可检索覆盖面。
2025-09-23 11:21:56
884
原创 LazyLLM教程 | 第9讲：微调实践：让大模型和向量模型更懂你的领域
RAG需要的知识库往往对用户来说具有隐私性，用户更希望能在本地部署，这意味着要同时部署本地的大模型，而本地部署大模型又需要算力支持，一般用户很难有较强的算力，此时在算力资源下往往只能选择一些较小的LLM模型，比如7B大小的模型，而这些较小的LLM基本能力上无法和600多B的LLM相比，此时模型的能力也就较弱。前面教程中，我们通过优化检索策略、召回重排略以及基于大模型的查询重写策略来提升了RAG系统的检索精度，但最终回复的结果还需要经过大模型的融合和处理，模型能力的强弱直接影响到最终的结果。
2025-09-15 17:40:48
744
原创 LazyLLM教程 | 第8讲：不止是cosine！匹配策略决定你召回的质量
它们是用来做后处理的。输出结果符合预期，因为 LazyLLM 是支持多 embedding 的，所以前面的 key 表示的是哪类 embedding，然后 tuple 里面的第一项 Node 表示的是哪个节点和 query 进行计算的，第二项表示的是相似度分数。可以从输出的结果中看到检索出来的文本和请求的query几乎完全没关系，因为我们使用的相似度计算方法是欧氏距离，距离越近说明文本越相似，由于是降序排列，所以 top3 对应的是距离最大的三段文本，那这三段文本和query不相似是符合预期的。
2025-09-09 11:46:49
1137
原创 LazyLLM教程 | 第7讲：检索升级实践：亲手打造“更聪明”的文档理解系统！
如果自定义的 Transform 算法很复杂的话，这时候一个 function 就不能简单的解决了。这时候就可以使用基于 class 的方式进行定义。首先定义的类要继承自基类，然后重写基类的transform方法即可。这里需要注意的是，因为是继承自基类，所以transform函数的入参只能是 Node 类型，而不能是str类型，但是它的出参可以是List[str]类型，也可以是List[Node]类型。这里我们简单定义一个以 '\n\n' 为分隔符的 Transform 算法。
2025-09-02 14:49:51
741
原创 LazyLLM教程 | 第6讲：检索更准：RAG召回效果优化的底层逻辑与技巧
从前面的课程中我们知道了 RAG（Retrieval-Augmented Generation）系统是一种结合检索和生成两个核心组件实现基于外部知识源回答用户查询的智能系统，可以在一定程度上克服大模型幻觉问题在特定领域问答任务上给出与上下文相关的答案。RAG 的基本思想是先通过检索模块从大量文档中找到与用户问题相关的上下文，然后将这些信息提供给生成模型，以生成更加精准和可靠的答案。尽管 RAG 系统的基础架构较为清晰，并且已有许多工具和框架可以帮助开发者快速搭建，但要真正实现高精度、高效率的输出仍然充满挑战
2025-08-26 10:48:50
1244
原创 LazyLLM教程 | 第5讲：打造专属Reader组件：轻松解析HTML、PDF等复杂文档格式
前面我们已经知道当 query 来了之后要先经过 Retriever 模块，然后输出检索到的相关文本片段。那么这里就有了一个问题，Retriever 模块检索到的这些文本片段是从哪里来的呢？这里就不得不提到我们将要介绍的 Reader 模块了~我们都知道 Retriever 是需要从知识库中检索和问题相关的信息，而知识库中的内容会是各种各样的，有结构化存储的，也有非结构化存储的。为了让 Retriever 中的检索模块和知识库中知识的存储格式解耦，就需要 Reader 模块来大显身手了。
2025-08-18 15:14:30
798
原创 LazyLLM教程 | 第4讲：RAG项目工程化入门：从脚本走向模块化与可维护性
Git是一个分布式版本控制系统，用于跟踪文件的更改，特别适用于软件开发。它允许多个开发者协作开发代码，同时保留所有更改的历史记录。详述。
2025-08-14 11:10:31
667
1
原创 LazyLLM教程 | 第3讲：大模型怎么玩：用LazyLLM带你理解调用逻辑与Prompt魔法！
LazyLLM是一款以数据流（Data Flow）为核心的多Agent大模型应用开发框架，所以 LazyLLM 中定义了大量的数据流组件，配合 LazyLLM 中提供的工具和组件，可以让您像搭积木一样搭建复杂的大模型应用。数据流的核心设计思路是无需您手动对数据流动进行指定，而是通过数据流内部将上一阶段的数据直接分发给对应的下游接收组件。LazyLLM支持Pipeline、Parallel、Switch、If、Loop、Diverter、Warp、Graph等数据流。
2025-08-06 15:25:41
931
原创 LazyLLM教程 | 第2讲：10分钟上手一个最小可用RAG系统
CMRC 2018（Chinese Machine Reading Comprehension 2018）[1] 数据集是一个中文阅读理解数据集，用于中文机器阅读理解的跨度提取数据集，以增加该领域的语言多样性。数据集由人类专家在维基百科段落上注释的近20,000个真实问题组成。旨在推动中文机器阅读理解（MRC）任务的发展。其数据集的基本格式如下图所示：
2025-07-30 19:40:46
899
原创 【LazyLLM全面教程（图文版）】新系列来袭！今天学，明天别人追着喊你大佬！
是构建和优化多 Agent 应用的一站式开发工具，为基于LLM的应用开发过程中全部环节(包括应用搭建、数据准备、模型部署、模型微调、评测等)提供了完整解决方案。为了帮助你快速上手和深入了解 LazyLLM 的各项功能，本喵贴心的为你准备了。灵活的算法策略配置及统一的接口调用体验，协助开发者以极低成本构建 AI 应用，落地端到端产品，持续优化产品效果。统一市面诸多大模型调用接口，基模型自由切换，为用户提供一致的使用体验。精细化模块设计，符合直觉的代码风格帮你集中精力，打造爆款产品。
2025-07-22 10:30:19
649
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人