自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(529)
  • 收藏
  • 关注

原创 Agent 长程 Harness - LongHorizon-Harness: Advancing LongHorizon Agents for Real-World Tasks

revisionrɪˈvɪʒ(ə)nn. 修改,修订;修订本,订正版;复习,温习adj. 相互依赖的,相互依存的;互助的delegateˈdelɪɡətn. 代表;委员会成员v. 授权,把……委托给;选派(某人做某事)n. 复利,复利计算;组合,混合;配料,配制;复合构词,合成法distortdɪˈstɔːtv. 扭曲,使失真;歪曲,曲解steerstɪə(r)v. 驾驶(交通工具),掌方向盘;引导,指导(某人的行为);引导,带领(某人去某地);

2026-10-31 17:06:29 117

原创 PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoning 程序式记忆赋能长程推理

PRO-LONG:程序式记忆赋能长程推理sustainedsəˈsteɪndadj. 持续的,持久的;坚定的,坚持不懈的v. 维持,保持;遭受,经受;(在体力或精神方面)支持,支撑continualadj. 多次重复的,频繁的;持续的,不间断的adj. 随之而来的,作为结果的;<法律>间接发生的,间接引起的;重要的,意义重大的viableˈvaɪəb(ə)ladj. 可望成功的,切实可行的;能存活的,能生长发育的adj. 探索的,探查的,探究的;勘探的,考察的(常作定语)

2026-10-25 22:20:21 192

原创 4 个 Agent 从空手到屠龙

当上下文过长时,智能体会对上下文做压缩处理;提示指令要求智能体记住那些压缩后不能丢失的信息,例如正在进行的(work in progress)工作、后续计划步骤(next steps)。可以借鉴到日常的智能体开发中。

2026-10-25 19:39:33 193

原创 LangGraph 和 ToT,Tree of Thoughts 同一步骤多条路线并行探索,用LLM做评判和减枝

LATS,Language Agent Tree Search,语言智能体树搜索(ICML 2024 论文)用 LangGraph 搭建一棵思考树,每一步都生成多个备选方案,像 DFS 一样探索所有可能路径;让大模型当裁判投票,挑最好的那条思考路径,最后用这条最优路径输出答案不像普通 ReAct 一条路走到黑,ToT 是把思考拆成多分支树,每一步生成多个候选方案,像深度优先搜索一样探索多条路径,再投票选出最好的一条路线len1:判断任务是否完成,是否停止搜索。

2026-10-17 22:28:07 130

原创 LangGraph - 带交叉反思(Reflection)的 ReAct 多智能体、仅共享每次执行的最终结果

通过 LangGraph 全局 State 状态做通信answerquestionoptionsanswerresponsefeedback不需要传递完整长长的全量消息历史,只把上一轮最终产出(answer、critique 反馈)放进全局状态,两个智能体读写同一个状态完成通信,缩短消息列表,节省 token本文所采用的方式。

2026-10-17 19:33:03 78

原创 LangGraph 之 规划与执行

);// 美国公开赛的冠军是谁});步骤:HumanMessage->AIMessage->ToolMessage->AIMessage},},},},"args": {},],},},},},

2026-10-12 14:14:06 71

原创 LangGraph - 重复消息的处理

此选项会回滚到该点为止的所有已完成工作。然后它会发送用户输入,基本上就像它只是遵循原始运行输入一样这可能会创建一些奇怪的状态——例如,可能会连续收到两条 User 消息,中间没有 Assistant 消息需要确保您正在调用的 LLM 可以处理这种情况,或者将这些合并为一条 User 消息当线程内已有正在运行的旧任务时,会先彻底终止旧任务,再把整个线程的状态回滚到旧任务启动之前的快照,仿佛旧任务从未运行过,最后基于干净的状态启动新任务被终止的旧任务和interrupt。

2026-10-11 23:34:42 72

原创 LangGraph - 流式运行

LangGraph SDK 和 LangGraph Server 是 LangGraph 平台的一部分使用 LangGraph 官方 Python SDK 调用远程部署的 LangGraph 智能体:先创建独立的会话线程隔离状态,再以「增量更新」的流式模式运行指定的智能体,实时接收执行过程中的状态变更它和本地运行 LangGraph 的核心机制(线程、检查点、状态、中断)完全一致,只是从本地函数调用变成了远程服务调用这两段代码是「服务端图定义」与「客户端远程调用」的关系:客户端一旦拥有一个正在运行的

2026-10-11 22:36:40 308 1

原创 LangGraph 的回溯、状态手动更新与检查点分叉

核心是在 state 里加一个数组,专门存放「待执行的副作用操作」,只存描述和参数,不执行// 业务数据// 核心:副作用待办队列,每个元素描述一个要执行的操作type: "send_email" | "write_db", // 操作类型payload: Record<string, any>, // 操作参数idempotency_key: string // 幂等键,兜底防重}>>({reducer: (a, b) => [...a, ...b], // 累加合并,节点可以持续追加。

2026-10-10 14:13:45 156

原创 LangGraph 之 Human-in-the-loop,人机协作/在环

人机协作(human-in-the-loop)(或“在环”)工作流将人类输入集成到自动化流程中,允许在关键阶段进行决策、验证或更正这在基于 LLM 的应用程序中尤其有用,因为底层模型可能会偶尔产生不准确的内容在合规、决策或内容生成等低容错场景中,人类参与通过审查、更正或覆盖模型输出来确保可靠性。

2026-10-09 23:21:30 331

原创 LangGraph ~ 为图添加跨线程持久化

LangGraph.js 也允许跨多个线程持久化数据例如,可以将有关用户的信息(他们的姓名或偏好)存储在共享内存中,并在新的对话线程中重复使用它们。

2026-10-08 20:44:56 199

原创 LangChain 高级RAG

dense + sparse用 融合稠密检索(FAISS 向量库)+ 稀疏检索(BM25)即可,权重可调EnsembleRetrieverLangChain 内置的 “检索器组合器”—— 接收多个 ,把各自召回的结果合并、去重、按融合分数重排成一个列表默认用 RRF(Reciprocal Rank Fusion,倒数排名融合)粗召 + 精排粗召+精排,通常在一个管道中同时使用粗召回():k=5,用 RRF 把稠密 + 稀疏候选混在一起,召回尽量多的可能相关文档精重排():对每个 que

2026-10-07 22:36:12 264

原创 向量数据库常见默认索引 - HNSW - 图 - 多级检索 - Hierarchical Navigable Small World

HNSW 靠 “顶层粗跳缩小范围,底层细搜锁定答案” 的方式,用少量跳跃就找到近似最近邻,这正是它比暴力全扫快得多的原因。

2026-10-07 14:58:49 188

原创 Chroma 的边际相关性检索 - Maximal Marginal Relevance,检索的多样性

MMR = 在 “跟查询相关” 和 “结果彼此不重复” 之间做平衡,用 λ 控制天平在 Chroma 里就是query时传上fetch_k等参数即可。

2026-10-07 14:30:21 345

原创 LangChain 基础学习

状态 = 整个工作流的全局 “共享笔记本”,所有节点都能读这本笔记本;节点写完内容,下一个节点就能看见,这样就能感知上下文了编排写的是「图的路由规则」,不是「最多跑多少轮」;图可以写循环环(回边),路径可以无限反复跑,所以必须 recursion_limit 做安全上限① 无环 DAG(有向无环图)所有路径是单向往前走,没有回边比如这种图,执行路径固定,超级步骤总数固定,跑完就结束这种场景 recursion_limit 基本碰不到,只是兜底② 带循环的图(ReAct Agent 最典型)

2026-10-06 14:53:20 326

原创 大模型中的 Q4_K_M 含义

q:4bit 无符号整数,只能取 0,1,2,…,15 一共 16 个值(16 个编码格子)固定偏移-8是 Q4_0 对称量化的硬编码规则,不能改在当前 block 内,遍历 32 个权重,算出 w_max = max(|w_1|,|w_2|,…,|w_32|)。注意:取绝对值的最大值令,则以 block 权重 [0.1 ~ 2.0] 为例,scale=0.2857,看每个 q 对应的 w。

2026-10-05 21:16:32 205

原创 LangGraph 的线程持久性 - CheckPointer 检查点

现在可以把它们放在一起。将首先在没有检查点的情况下运行它这是 LangGraph 最经典ReAct 工具调用智能体流程图代码(反复思考 + 调用工具,就是ReAct)如果模型输出没有工具调用→ 走到 END,结束如果模型输出有 tool_calls→ 走到 tools 节点执行工具,执行完自动回到 agent,循环// - `StateGraph`:用来构建状态图// - `RunnableConfig`:运行配置(里面包含 checkpoint 持久化、线程 id 等)

2026-09-30 17:26:43 243

原创 LangGraph 的子图 - 共享模式键和不共享模式键的学习

状态字段分两类同名 key:双向共享,子图修改会同步回父图子图独有的 key:仅子图生命周期内存在,出了子图就消失子图内部可以利用私有临时状态做中间计算,不需要污染父图全局状态foo共享状态,来自父图,子图可以读、可以改,修改会传回父图bar子图私有状态,只在子图内部生效,子图跑完之后 bar 直接丢弃,不会回到父图。

2026-09-30 16:03:48 233

原创 智能体间的通信~A2A

import osToday isToday is {Today is {Today is {Today is {负责和 Google Calendar API 对接;LlmAgent指定 Gemini 模型、给智能体起名、写指令;指令里动态注入当前日期,给模型时间上下文;工具挂载后,模型就能自己决定 “什么时候调用查日历的工具”

2026-09-27 21:00:02 326

原创 大模型的四类Cache - KV, Prefix, Prompt and Semantic Caching

API 提供商(如 Anthropic、OpenAI)的一种优化——如果多次请求的 prompt 前缀相同,服务端会缓存这段前缀的 KV Cache,后续请求只按增量部分计费和推理,降低延迟和成本和 Prefix Cache 很像,也是精确匹配;但这里 KV 是付费 / 计费粒度的缓存多用于云 LLM 服务商:完整 prompt 缓存,命中后,这部分 token 不计入计费或者少计费;图上的账单符号代表计费相关Prefix 侧重引擎内部显存复用;

2026-09-06 20:09:36 435

原创 对Q/K/V的文本例子

送给 Projection 头,做 argmax,吐出。

2026-09-06 16:36:02 157

原创 为什么 KV cache 只存 K 和 V 向量,不存 Q

interview 采访/面试n. 结果,后果;重要性,价值how exactly is:具体是怎样的noticeablyadv. 显著地,明显地,引人注目地visualˈvɪʒuəladj. 视觉的,视力的;栩栩如生的n. 视觉资料(指说明性的图片、影片等)自回归生成中,每生成一个新 token 只需要该位置的 query,而 key/value 必须与所有历史位置对齐。因此每个 decode 步骤只需计算新位置的 Q、K、V,缓存 K 和 V、丢弃 Q。

2026-09-05 23:31:16 235 1

原创 Agent 的 未来吗?String: An Agentic OS Where Every App Is a Markdown File

最近 Agent 架构设计上卡在上下文太大的问题上了, 中间产物全落盘,效果也不是很好突然看到这篇文档,明年的 Agent 应该是这个样子,将通病问题全部收敛到 Agent OS System 上才是趋势。

2026-09-05 19:28:40 210

原创 Agent Memory System 之 Atom-MEM

则走另一个极端:它定期把历史对话或知识压缩成一段段摘要,用更少的 token 承载更多信息。这种方式能显著降低存储与检索成本,但代价是丢失了大量细节——摘要一旦生成,原始信息就被"蒸馏"掉了,后续无法回溯具体细节,且摘要之间的组织同样是扁平的,缺乏结构化的关联。

2026-09-04 23:21:45 233

原创 Agent Memory System 之 Recent Advance

Sumers et al. [344] propose Cognitive Architectures for Language Agents (CoALA), a unifying framework that organizes the growing zoo of LLM agents using principles from cognitive science and symbolic AI.Sumers 等人提出了 CoALA(Cognitive Architectures for Langu

2026-08-25 23:50:16 210

原创 Memory Agent System 之 主动式记忆体 Proactive Memory

beliefbɪˈliːfn. 相信,信心;看法,信念,观点;信仰,信条asymmetricadj. 不对称的;不对等的promisingˈprɒmɪsɪŋadj. 有希望的,有前途的v. 承诺,答应;

2026-08-25 23:26:52 365

原创 Agent Memory Systems 学习(二)

写入一条新事实 f_new 之前,先要检查它和已有记忆库 M 是否矛盾:只要记忆库里任意一条旧事实 f 和新事实互相冲突,就触发冲突实现方案:NLI 自然语言推理模型 / LLM 提示词判断直接覆盖旧记忆两条全部保留,依靠时间戳区分新旧打上标记,交由人工复核从情景记忆,取出三次失败完整事件记录归纳洞察:我总是忘记处理输入列表为空这个边界情况将这条总结存入语义记忆下一次做题时读取该条经验,主动、显式去校验空输入。

2026-08-23 00:59:55 229

原创 Agentic Memory Systems 学习(一)

n. 接近者,近似者n. 连续,持续;延续物,附加物;(停顿后的)继续,再开始adj. 独立的;设备齐全的;沉默寡言的long-horizon adj.长期视角,长远眼光:指在做决策或规划时,考虑到较长时间范围内的影响和结果adj. 根本的,基本的;必需的,必不可少的;不能再分的n. 基本原理;基音,基频roughlyˈrʌfliadv. 粗略地,大约;粗暴地,粗鲁地;粗糙地,不精细地scratchskrætʃv. (用指甲)挠,轻抓;(用指甲或利器)抓破,划破;划出,刮出(痕迹);

2026-08-22 20:33:03 228

原创 大模型的强化学习基础

r gammaGt 当下之后能拿到的全部收益。

2026-08-09 23:39:18 45

原创 大模型 RL 之 PPO,Proximal Policy Optimization

现存问题:原生策略梯度算法对更新步长不存在任何约束。只要碰上一批运气较差的训练批次,就有可能把策略参数更新至糟糕区间;该区间下模型只会输出劣质动作,劣质动作获得很低奖励;下一轮梯度更新会继续恶化参数,最终造成不可逆的训练崩溃算法演进路线TRPO(2015):约束新旧策略之间的 KL 散度。算法稳定性优秀,但需要开销巨大的二阶优化(Fisher 费氏信息矩阵、黎曼攻坚&共轭梯度法)PPO(2017):依靠简单的一阶裁剪目标函数,实现同等水平的训练稳定性;

2026-08-09 18:39:00 235

原创 大模型DPO的一些疑问

DPO 是有两个模型,一个是策略模型(被训练的模型),一个是参考模型(同基座,经过 SFT 微调)训练策略模型 π_θ可更新参数,训练时梯度反向传播会修改权重;最终训练完成后,上线推理使用该模型;所有优化目标全部针对它参考模型 π_ref全程冻结权重,无任何梯度更新;一般取自 SFT 监督微调完成的底座模型,和策略模型初始化权重完全一致;作用是正则约束,限制策略模型不能毫无边界地乱改,规避灾难性遗忘x:输入 Prompt(用户问题、指令)y:模型输出的完整回复文本。

2026-08-09 16:36:39 191

原创 TRPO 为什么要用自然梯度优化

但强化学习真正关心的不是神经网络权重挪动多少,而是:策略 pi_theta 的行为分布变化多大权重一点点改动,有时候策略动作概率会翻天覆地;有时候权重改动很大,策略几乎没变权重空间的欧式距离 ≠ 策略之间的真实距离。

2026-08-09 01:12:31 228

原创 SFT最佳实践-系列二

adj. 非故意的;无意识的adv. 后来,随后disjointdɪsˈdʒɔɪntv. 打散;拆开;(使)关节脱离;adj. 不连贯的;(两个集合)不相交的adj. 不可挽回的,无法逆转的;

2026-08-02 19:51:57 241

原创 SFT最佳实践 - SFT Best Practices and Techniques

ChatML = Chat Markup Language,聊天标记语言,由 OpenAI 推出、如今全行业通用的大模型对话结构化标准格式,用来给多轮对话做标准化封装,让模型精准分清「系统指令、用户说话、模型回复」的边界,彻底解决老式拼接 Prompt 边界模糊、容易乱档的问题:消息开始(im=internal message 内部消息)<|im_end|>:消息结束这两个是模型词表里独占的专用 token,普通文本几乎不可能撞名,不会和聊天正文混淆。

2026-08-02 00:12:09 293

原创 大模型对齐算法 - KTO,Kahneman-Tversky Optimization

Kahneman-Tversky Optimization,简称 KTO命名来源:致敬行为经济学两位学者丹尼尔・卡尼曼(Kahneman)、阿莫斯・特沃斯基(Tversky),二人提出前景理论(Prospect Theory)拿下诺贝尔经济学奖;KTO 完整借鉴该理论做对齐损失设计论文出处:ICML 2024,定位为 DPO 的轻量化替代对齐算法底层理论:前景理论两大核心(KTO 的设计根基)

2026-07-28 13:49:53 228

原创 大模型增强学习DPO-Direct Preference Optimization

DPO 最小化交叉熵损失,它的 “标签逻辑” 为:人类选中的优质回答,隐式奖励必须高于被拒绝的劣质回答。二者奖励的差值余量由超参数 beta 控制。简单理解:训练目标强制 y_w 隐式奖励 > y_l 隐式奖励,beta 决定 “好坏奖励要拉开多大差距”

2026-07-27 00:20:35 188

原创 大模型中的强化学习算法和对齐算法的区别

强化学习(RL)是大类技术;对齐算法是落地场景子集强化学习:通用机器学习范式,不限大模型,解决任意智能体做序列决策优化,最大化长期累积奖励LLM 对齐:目标是让模型贴合人类偏好、指令、安全规范;很多对齐依赖强化学习实现,但对齐≠强化学习,对齐还有非 RL 路线二者是「工具」和「使用场景」的关系:强化学习是工具箱,对齐是改造大模型的工程目标,可以用这个工具箱,也可以用别的工具箱。

2026-07-26 23:33:36 205

原创 大模型对齐算法 GRPO 学习

当下工业界最主流的强化学习算法,LLM 的 RLHF 对齐早期普遍基于 PPO 实现基础结构,包含两套网络:Policy(策略网络):负责生成动作(大模型中就是生成 token)Critic(价值网络):预估状态价值,计算优势函数,指导策略更新核心设计增加近端约束(裁剪 clip),限制单次迭代内策略更新幅度,避免参数大幅震荡,解决传统策略梯度训练不稳定、容易崩溃的问题和 GRPO 核心区别标准 PPO 必须单独训练 Critic 价值网络;

2026-07-26 17:18:20 418

原创 Adam 和 AdamW 及对大语言模型 LLM 的影响

困惑度缩写 PPL,是衡量语言模型生成流畅度、文本预测准确度的核心量化指标,多用于 LLM 预训练、SFT 效果评估PPL 数值越小,模型越好PPL=1:理论最优。

2026-07-24 14:04:44 195

原创 大模型微调 batch_size 设置指南

正则化 = 给训练加约束,防止模型死记训练数据、避免过拟合小 batch 带来的梯度局部震荡(噪声),不用额外加 Dropout、L2 权重衰减,天然就能起到抑制过拟合的效果,这就叫梯度噪声自带隐式正则batch 过小:梯度噪声大、收敛慢、GPU 利用率低;好处是抑制小数据集过拟合batch 过大:显存 OOM、易过拟合、真实场景效果下滑、通信开销上升最优实践:用小 micro_batch + 梯度累积实现中等有效 batch(16~64),平衡显存、收敛速度与泛化能力。

2026-07-21 19:52:21 384

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除