- 博客(402)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 探秘Transformer系列之文章列表 --- 更新至第 29 篇
从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。
2025-03-23 00:16:06
609
原创 新书出版：《分布式机器学习——系统、工程与实战》
当然，很多时候我们只有源码，那么就只能从源码中根据细节来探寻，重建论文作者的思路，提炼其精华，争取和作者达到一个跨越空间和时间的震荡和共鸣。其实我也没有很好的学习方法，可能因为我比较喜欢钻研技术，如果某一个技术点没有想明白，我就会围绕这个点进行深入挖掘，而往往为了弄明白一个知识点，就会研究其他相关知识点，这样从一个点很容易延申到一条线，进而扩展到一个面，最后形成一张网，就构建了自己的一个小小的知识体系。
2023-07-21 23:56:05
684
1
原创 【大数据 & AI】Flink Agents 源码解读 --- (4) --- AgentPlan
"""从用户自定义 Agent 编译得到的智能体执行计划核心作用：封装 Agent 运行所需的动作、事件映射、资源、配置等核心信息"""# 动作名称到动作对象的映射# 事件类型（字符串格式）到监听该事件的动作名称列表的映射# 资源提供者映射：第一层是资源类型，第二层是资源名称，值为对应资源提供者# Agent 的全局配置# 私有缓存：已创建的资源实例（避免重复初始化），键为 (资源类型, 资源名称)
2026-01-05 20:55:20
409
原创 【大数据 & AI】Flink Agents 源码解读 --- (3) --- Agent
ReActAgent 为标准的基于 LLM 的推理任务提供了现成的解决方案，而 Workflow Style Agent 为复杂的自定义代理实现提供了最大的灵活性。有人戏称：拉投资用 Agent 讲故事，做业务踏踏实实用 Workflow。这句玩笑背后折射出现实的考量：Workflow 胜在确定性，而 Agent 胜在上限。ReActAgent 的定义如下。
2025-12-31 19:19:12
592
原创 【大数据 & AI】Flink Agents 源码解读 --- (2) --- 核心架构
Flink Agents 框架的核心是“事件驱动 + 状态隔离 + 多语言协作”：通过 Agent/AgentPlan 实现业务逻辑的声明式定义，借助 Flink 原生的分布式、高并发能力实现可靠执行，同时支持 Python 生态的工具 / 模型集成，兼顾了开发灵活性与运行时效率，适用于复杂 AI 代理任务的分布式部署与执行。具体而言，Flink Agents 的组件是对原生 Flink 组件在 “Agent 业务场景” 下的语义化封装，而非全新发明。
2025-12-29 20:27:08
909
原创 FastDDS 源码解析（十六）处理PDP消息——PDP匹配
上一篇我们介绍了收到一条pdp消息后的一部分前期的处理逻辑。这一篇我们介绍这个pdp消息所携带的Participant的信息和PDP匹配的过程。
2025-12-25 22:20:54
912
原创 【大数据 & AI】Flink Agents 源码解读 --- (1) --- 设计
Flink Agents 是Apache Flink社区最近推出的一个全新的项目，一个专门为事件驱动场景设计的智能体框架。该项目聚焦事件驱动型AI智能体，结合Flink的实时处理能力，推动AI在工业场景中的工程化落地，涵盖智能运维、直播分析等典型应用，展现其在AI发展第四层次——智能体AI中的重要意义。本系列从源码入手，深入解析 / 反推 Flink Agents项目的架构设计。因为属于反推，肯定存在各种错误，还请大家不吝指出。Flink Agents 的核心目标是。
2025-12-24 20:23:32
972
原创 FastDDS 源码解析（十五）接收PDP消息（下）
上一篇我们介绍了一条pdp消息的大概内容，和接收到pdp消息之后到分发给statelessreader处理的大概过程，这一篇我们介绍一下statelessreader如何接收这条消息。
2025-12-23 22:39:33
717
原创 【Agent】MemOS 源码笔记---(7)---MemScheduler 细节
记忆调度就像大脑的注意力机制，动态决定在合适的时刻调用合适的记忆。在 MemOS 中，记忆调度（Memory Scheduling）通过对【不同使用效率（参数>激活>工作>其他明文）的记忆】的相互调度，让模型能更高效、准确地获取用户所需的记忆。在对话和任务进行时，通过预测用户后续对话所需记忆并提前调入高效率记忆类型如激活记忆工作记忆，加速推理链路。
2025-12-22 20:19:46
609
原创 【Agent】MemOS 源码笔记---(6)---MemScheduler -- 总体
记忆调度就像大脑的注意力机制，动态决定在合适的时刻调用合适的记忆。在 MemOS 中，记忆调度（Memory Scheduling）通过对【不同使用效率（参数>激活>工作>其他明文）的记忆】的相互调度，让模型能更高效、准确地获取用户所需的记忆。在对话和任务进行时，通过预测用户后续对话所需记忆并提前调入高效率记忆类型如激活记忆工作记忆，加速推理链路。
2025-12-18 21:23:58
576
原创 【Agent】MemOS 源码笔记---(5)---记忆分类
大模型之所以“忘事”，根本在于我们对“无状态模型”里“上下文窗口”的误解。很多人把它当成一只大箩筐，认为装得越多越好；然而，事实上，上下文窗口更像一块容量有限的工作记忆。硬塞太多信息，只会同时带来如下麻烦：关键内容被噪声淹没，模型抓不住重点，上下文越长，费用和延迟也越高。这不是模型偷懒，而是 Transformer 架构的先天特性。每一次调用都像重新开机：没有长期记忆，上下文一旦过长，注意力就被冗余信息扯散，于是出现遗忘、跑题、速度下降。为了补上这块短板，人们在记忆上大动手脚。
2025-12-15 21:31:50
1023
原创 【Agent】MemOS 源码笔记---(4)---KV Cache
MemOS中的KV Cache机制通过预计算和存储语义稳定的背景信息（如FAQ、对话历史）为键值对张量(KVCacheItem)，实现了高效记忆复用。该系统将明文记忆转换为KV格式表示，避免重复编码，显著降低推理延迟。KV Cache与TreeTextMemory协同工作，由MemOS统一管理，支持快速响应和高吞吐量的应用场景。相比传统文本记忆方式，KV Cache通过直接注入注意力机制，减少了冗余计算，优化了首次token生成时间(TTFT)，特别适合多轮对话和检索增强生成任务。
2025-12-10 21:24:43
1010
原创 【Agent】MemOS 源码笔记---(3)---搜索
TreeTextMemory 提供了一个完整的记忆管理系统，能存储、组织、检索和维护各种类型的文本记忆、适用需要复杂记忆管理的AI系统。这是一个基于图的、树形明文记忆，支持以结构化方式组织、关联并检索记忆，同时保留丰富的上下文信息与良好的可解释性。我们可以通过这个TreeTextMemory 对象与庞大的知识库进行交互，为AI赋予专业的领域记忆。当前使用Neo4j作为后端，未来计划支持更多图数据库。
2025-12-08 20:27:51
1019
原创 【Agent】MemOS 源码笔记---(2)---TreeTextMemory
本文介绍了TreeTextMemory记忆管理系统的核心概念与架构。该系统基于图数据库(Neo4j)构建，采用树形结构组织文本记忆，支持多层级关联和语义搜索。系统包含LLM处理模块、Embedding模型、图数据库存储、重排序器等组件，通过MemoryManager协调记忆生命周期管理。每个记忆节点包含文本内容、元数据(类型、状态、来源等)和向量嵌入，支持复杂的知识组织和多跳推理。该系统适用于需要结构化记忆和可解释关系的AI应用场景。
2025-12-01 21:17:21
998
原创 FastDDS 源码解析（十四）接收PDP消息（上）
本文解析了FastDDS中PDP消息的接收过程。通过Wireshark抓包分析PDP消息结构，包括消息头、子消息和具体内容。PDP消息包含了参与者协议版本、GUID、地址信息、超时时间等关键字段。在接收端，UDPTransport通过Socket接收消息，由MessageReceiver处理并分发给对应的RTPSReader。对于PDP消息，最终会调用process_data_message_without_security函数进行处理。文章还展示了相关类图和时序图，说明PDP消息如何在本地和远端参与者之间
2025-11-23 11:22:43
614
原创 FastDDS 源码解析（十三）发送第一条PDP消息---跨进程发送
本文解析了FastDDS中跨进程通信的数据共享(datasharing)机制实现原理。作者首先介绍了FastDDS使用共享内存实现跨进程Zero-Copy传输的基本概念，指出其本质是以CPU资源换取内存空间节省。然后分析了该机制的优缺点，认为在嵌入式场景中性价比不高，建议采用单一FastDDS节点加传统IPC的架构替代。文章详细解读了接收端初始化流程，包括创建共享内存区域、通知机制和监听线程的启动过程。最后说明了DataSharing的三种配置模式（ON/OFF/AUTO）及其应用场景。整体来看，作者认为F
2025-11-22 11:10:11
793
原创 FastDDS 源码解析（十二）发送第一条PDP消息（下）---异步发送
FlowController看名字就是大概什么意思，就是发送流的控制器。FlowControllerImpl 是一个泛型类模版。里面有两个类型参数PublishMode, SampleSchedulingPublishMode负责FlowControllerImpl 同步异步发送逻辑SampleScheduling负责FlowControllerImpl在异步发送过程中的调度策略。
2025-11-21 08:53:37
600
原创 FastDDS 源码解析（十一）发送第一条PDP消息（中）
FastDDS PDP消息发送流程解析 本文分析了FastDDS中发送第一条PDP消息的中间过程，重点介绍了FlowControllerImpl的同步发送机制。 核心内容： FlowControllerImpl是一个模板类，通过PublishMode控制同步/异步发送策略，SampleScheduling控制异步调度策略 对于PDP阶段的statelesswriter使用FlowControllerPureSyncPublishMode，仅支持同步发送 同步发送流程： 获取writer的LocatorSel
2025-11-20 20:27:08
597
原创 【Agent】MemOS 源码笔记---(1)--基本概念
MemOS（Memory Operating System）是一种专为AI系统设计的记忆操作系统，旨在解决大型语言模型在记忆管理上的局限性。它将记忆提升为系统级资源，通过统一格式、生命周期和调度机制，实现自动存取、版本控制和分层管理。MemOS支持三种记忆类型：结构化记忆（明文）、激活记忆（运行时缓存）和参数化记忆（动态技能注入）。该系统能够实现个性化对话、团队知识库共享和跨会话任务连续性，显著提升AI的长期记忆能力和适应性。MemOS的开源架构结合了图数据库和向量搜索技术，为开发者提供了高效管理记忆的解决
2025-11-19 20:25:20
1453
原创 车载消息中间件FastDDS 源码解析（十）发送第一条PDP消息（上）
本文解析了FastDDS中RTPSParticipantImpl启用PDP发现机制的过程。当调用RTPSParticipantImpl::enable()时，主要完成两个核心操作：一是通过BuiltinProtocols::enable()启动PDP协议（包括初始化两个定时事件lease_duration_event和resend_participant_info_event_，分别用于检查远程参与者的存活性及周期性发送PDP消息）；二是将MessageReceiver与ReceiverResource关联
2025-11-18 20:09:07
656
原创 车载消息中间件FastDDS 源码解析（九）Message
这篇文章主要介绍了RTPS（Real-Time Publish-Subscribe）消息中间件FastDDS中的Message结构。RTPS消息由消息头、可选的HeaderExtention和子消息(Submessage)三部分组成。消息头包含协议版本、供应商ID等信息，而子消息分为Entity子消息和解释器子消息两类，分别用于数据交换和状态修改。文章详细说明了各种子消息(如AckNack、Data、Heartbeat等)的结构和功能，并通过Wireshark抓包实例展示了RTPS消息的实际组成。这些消息机
2025-11-17 20:02:28
911
原创 车载消息中间件FastDDS 源码解析（八）TimedEvent
本文分析了FastDDS中的TimedEvent机制，该机制用于处理周期性事件，如心跳发送等。主要介绍了： TimedEvent通过ResourceEvent进行管理，ResourceEvent由后台线程轮询处理TimedEvent事件。 TimedEvent的使用方式： 初始化时传入ResourceEvent、回调函数和时间周期 可通过update_interval()更新周期时间 使用restart_timer()启动定时器 使用cancel_timer()取消定时事件 源码解析重点： TimedEve
2025-11-16 10:05:04
896
原创 车载消息中间件FastDDS 源码解析（七）BuiltinProtocols（下）WLP&TypeLookupManager
WLP协议简介 WLP(Writer Liveliness Protocol)是一种默认不配置的可选协议，主要用于管理writer的存活状态。该协议包含StatefulWriter(RTPSMsgWriter)和StatefulReader(RTPSMsgReader)两个端点，功能类似于socket心跳机制，但更为复杂。 WLP支持三种存活策略： AUTOMATIC_LIVELINESS_QOS：由基础设施自动发送存活消息 MANUAL_BY_PARTICIPANT_LIVELINESS_QOS：由Par
2025-11-15 08:03:04
961
原创 车载消息中间件FastDDS 源码解析（六）BuiltinProtocols（中）EDP
本文解析了FastDDS中的EDP（端点发现协议）初始化过程。EDP负责在PDP（参与者发现协议）之后进行Writer和Reader的互相发现。EDP默认使用simple发现协议，也可配置为static协议。文章详细介绍了EDP的4个内置端点（2对Writer/Reader）及其功能，并通过时序图展示了EDP初始化的完整流程，包括创建StatefulWriter和StatefulReader等关键步骤。源码分析部分重点讲解了createSEDPEndpoints()方法如何创建端点及其相关属性设置。
2025-11-14 07:00:13
787
原创 【智能硬件】AI 眼镜论文笔记
智能眼镜研究进展：从被动响应到主动服务 近期两篇智能眼镜相关论文展示了AI助手的创新发展方向。《AI for Service》提出主动服务范式Alpha-Service框架，通过轻/重量级模型协同、记忆单元等实现个性化预测性服务；《EgoLife》则聚焦长期生活记忆，构建包含300小时第一人称视频的EgoLife数据集和EgoButler系统，支持7天跨度的生活问答。两研究共同突破传统AI的被动响应模式，在实时性处理、长期记忆建模和隐私保护方面面临持续挑战，为下一代可穿戴智能设备奠定理论基础。
2025-11-13 22:04:40
951
原创 车载消息中间件FastDDS 源码解析（五）BuiltinProtocols（上）PDP
文章摘要 本文深入解析了FastDDS内置协议BuiltinProtocols的初始化过程，重点介绍了PDP（Participant Discovery Protocol）的初始化机制。BuiltinProtocols管理四个核心协议组件：PDP（负责Participant发现）、EDP（端点发现协议）、WLP（Writer存活状态协议）和TypeLookupManager（数据类型管理）。 初始化流程分为： PDP初始化：根据不同协议类型创建对应的PDPSimple/PDPClient/PDPServer
2025-11-12 07:14:59
870
原创 【Agent】生成式隐式记忆 MemGen 源码解读
本文介绍了一种新型动态生成式记忆框架MemGen，由记忆触发器(Memory Trigger)和记忆编织器(Memory Weaver)两个轻量级模块协同工作。该系统突破了传统静态记忆检索的局限，通过强化学习训练的触发器动态判断记忆插入时机，编织器生成针对性潜在记忆，实现推理过程中记忆的动态增强。核心创新在于模块化协同设计、动态记忆增强机制以及精度与效率优化，使智能体能够在任务执行中自生成、使用记忆，无需依赖静态检索或参数化存储。实验表明，该方法能有效提升模型性能，同时保持参数高效学习和计算效率。
2025-11-10 19:52:09
919
原创 车载消息中间件FastDDS 源码解析（三）RtpsParticipant的创建（中）
车载消息中间件FastDDS 源码解析（三）RtpsParticipant的创建（中）
2025-11-08 08:42:48
856
原创 【Agent】 ACE（Agentic Context Engineering）源码阅读笔记---（3）关键创新
通过 reflect 方法生成的分析结果会被传递给 Curator 角色，用于更新和优化 Playbook简单来说，Reflector 扮演着 “反思者” 的角色，通过对生成结果的深入分析来帮助系统学习和改进。想象一下，我们有一个智能助手（ACE），它不是用一个简单的提示来解决问题，而是用一系列的小提示，就像是一系列的备忘录或者清单。当我们的智能助手遇到新问题时，它会标记这些清单上的项目，告诉我们哪些是有用的，哪些可能会误导我们。它接收问题，并利用行动手册中积累的策略生成有推理过程的答案。
2025-11-06 21:03:25
1141
原创 【Agent】 ACE（Agentic Context Engineering）源码阅读笔记 ---（2）--- 训练
斯坦福 ACE（Agentic Context Engineering）源码阅读
2025-11-05 20:41:55
968
原创 【Agent】ACE（Agentic Context Engineering）源码阅读笔记---（1）基础模块
斯坦福 ACE（Agentic Context Engineering）源码阅读
2025-11-04 22:02:16
1139
原创 MPK（Mirage Persistent Kernel）源码笔记（5）--- 执行引擎
MPK 包含内置 GPU 运行时系统，可在单个 GPU 巨型内核内完整执行任务图。这使得系统能在推理过程中无需额外内核启动的情况下，实现任务执行与调度的细粒度控制，以实现高吞吐量与低延迟。这座超级工厂能全自动运转，核心在于MPK设计了一套跑在GPU上的运行时系统。这套系统的精髓，在persistent_kernel.py（前端接口）和persistent_kernel.cuh（后端实现）里体现得淋漓尽致。
2025-11-02 21:00:47
809
原创 MPK（Mirage Persistent Kernel）源码笔记（4）--- 转译系统
任务的由TaskDesc 来实现。// 任务类型// 变体ID// 触发事件// 依赖事件// 张量描述事件的由 EventDesc 来实现。// 触发器数量// 首尾任务ID范围。
2025-10-31 21:08:32
714
原创 MPK（Mirage Persistent Kernel）源码笔记（3）--- 系统接口
因为转译系统需要通过persistent_kernel.py来完成，所以我们先介绍persistent_kernel.py。persistent_kernel.py是 Persistent Kernel的Python接口，本质是Python到CUDA持久化内核系统的桥梁，允许用户用python定义复杂的计算图，然后在GPU上高效执行。持久化内核管理。提供了 PersistentKernel 作为接口类来管理和执行持久化CUDA内核。内核编译。将Python定义的计算图编译为CUDA代码并生成共享库。
2025-10-29 21:19:01
418
原创 MPK（Mirage Persistent Kernel）源码笔记（2）--- 多层结构化图模型
块图指定与线程块相关的计算，其中每个节点表示一个块操作符，指定线程块内的计算，每条边是线程块操作符之间共享的张量。Mirage 实现了多层次计算图表示（μGraphs），通过 kernel-graph（内核图）、block-graph（块图）和 thread-graph（线程图）这三层结构化图模型，精确映射 GPU 程序从内核到线程的执行逻辑与存储层级。首先，对于图定义的内核操作符（例如内核图中的 Q、K 和 V）的每个输入张量，相关的块图包含一个 imap，它指定如何将输入张量划分为各个块的子张量。
2025-10-26 15:41:57
1004
原创 MPK（Mirage Persistent Kernel）源码笔记（1）--- 基础原理
将模型权重和中间张量添加到计算图中。# 输入张量# 位置编码# 计算图的中间结果张量。
2025-10-23 21:23:04
694
原创 [Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记
前几天，斯坦福的ACE（Agentic Context Engineering）非常火。只看论文感觉还是理解不深，但是该论文并没有释放对应的源码。不过，ACE是基于Dynamic Cheatsheet完成，且两篇论文有共同作者，于是就找Dynamic Cheatsheet的论文和源码进行解读，得到本文。基于动态备忘录[41]的代理架构，ACE整合了一个包含生成、反思和策展的模块化工作流程，并增加了由成长和完善原则指导的结构化、增量更新。
2025-10-19 20:32:37
522
Word2vec-OpenSourceReading-master.zip
2020-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人