<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[洪流之源]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/weicao1990</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; weicao1990]]></copyright><item><title><![CDATA[强化学习-策略梯度公式的逐步推导]]></title><link>https://blog.csdn.net/weicao1990/article/details/166489751</link><guid>https://blog.csdn.net/weicao1990/article/details/166489751</guid><author>weicao1990</author><pubDate>Wed, 23 Sep 2026 18:10:22 +0800</pubDate><description><![CDATA[我们要解决的问题是：怎样利用智能体实际交互得到的轨迹，估计期望回报对策略参数的梯度？下面先推导无折扣的情况。一局交互共有固定的 TTT 步，时间步 ttt 从 0 到 T−1T-1T−1。每一步，环境处于状态 sts_tst​，智能体选择动作 ata_tat​，环境给出奖励 rtr_trt​，并转移到状态 st+1s_{t+1}st+1​。交互中的概率用以下符号表示：竖线 ∣\mid∣ 表示“在……条件下”。这里假设下一状态的分布只取决于当前状态和动作；奖励由当前状态、动作和下一状态确定。初始分布、环境转移]]></description><category></category></item><item><title><![CDATA[Windows 远程 Ubuntu 24.04 桌面]]></title><link>https://blog.csdn.net/weicao1990/article/details/164335619</link><guid>https://blog.csdn.net/weicao1990/article/details/164335619</guid><author>weicao1990</author><pubDate>Thu, 03 Sep 2026 16:22:29 +0800</pubDate><description><![CDATA[Tailscale 组网 + Ubuntu 自带的 GNOME Remote Desktop，Windows 用 mstsc 直连。]]></description><category></category></item><item><title><![CDATA[强化学习-训练好了没有?—— 兼谈强化学习里的过拟合]]></title><link>https://blog.csdn.net/weicao1990/article/details/163858914</link><guid>https://blog.csdn.net/weicao1990/article/details/163858914</guid><author>weicao1990</author><pubDate>Tue, 18 Aug 2026 16:35:37 +0800</pubDate><description><![CDATA[同一个网络,两个数字讲了两个故事。以及,既然神经网络会"举一反三",全文用实测数据说话,——三个探针脚本写在正文里,它们依赖的五个文件(环境、网络、回放池、智能体、训练主循环)全部附在文末附录,复制下来就能跑。]]></description><category></category></item><item><title><![CDATA[NVIDIA GPU 视频解码能力评估指南]]></title><link>https://blog.csdn.net/weicao1990/article/details/163813950</link><guid>https://blog.csdn.net/weicao1990/article/details/163813950</guid><author>weicao1990</author><pubDate>Mon, 17 Aug 2026 09:49:01 +0800</pubDate><description><![CDATA[用途：根据本指南可独立完成「查格式支持 → 查性能基准 → 计算解码路数 → 实测验证」的完整评估流程。，因此本文档只覆盖 NVDEC 解码侧；NVENC 编码内容仅作背景保留。]]></description><category></category></item><item><title><![CDATA[智能体工程全景：从提示词到图的演进与落地]]></title><link>https://blog.csdn.net/weicao1990/article/details/163448585</link><guid>https://blog.csdn.net/weicao1990/article/details/163448585</guid><author>weicao1990</author><pubDate>Mon, 03 Aug 2026 18:02:35 +0800</pubDate><description><![CDATA[一句话判据：判断一个系统是不是智能体，只看一条——下一步做什么，是它自己决定的，还是你事先写死的。"智能体"这个词被用得很滥。厘清它和三个近亲的边界，后面的讨论才有基础。它不是聊天机器人。聊天机器人的输出终点是一段文字，交付物是"话"。智能体的输出终点是世界状态的改变——文件被修改了、工单被创建了、参数被下发了。它交付的是"事"。它不是 RPA（机器人流程自动化）。RPA 走录制好的固定路径（数据搬运、批量填表、定时报表、对账等）；智能体则在运行时根据当前观察决定下一步。]]></description><category></category></item><item><title><![CDATA[强化学习-表格塞不下了,就别再“存“、改成“算“:讲透 DQN]]></title><link>https://blog.csdn.net/weicao1990/article/details/163291039</link><guid>https://blog.csdn.net/weicao1990/article/details/163291039</guid><author>weicao1990</author><pubDate>Wed, 29 Jul 2026 08:38:15 +0800</pubDate><description><![CDATA[因为训练的输入本来就是从 buffer 里随机抽出来的一批,不是单条。]]></description><category></category></item><item><title><![CDATA[强化学习-只差一行的两种性格:讲透 Sarsa 与 Q-learning]]></title><link>https://blog.csdn.net/weicao1990/article/details/163269325</link><guid>https://blog.csdn.net/weicao1990/article/details/163269325</guid><author>weicao1990</author><pubDate>Tue, 28 Jul 2026 12:06:47 +0800</pubDate><description><![CDATA[Sarsa 和 Q-learning 是表格型强化学习的两块基石。。这篇用一个 4×4 迷宫把这一行讲透,代码可直接复制运行。建立地基,是全文的结论,中间两部分是各自的落地代码。]]></description><category></category></item><item><title><![CDATA[强化学习-跑完再算账,还是走一步改一步:讲透 MC 与 TD 怎么估 V 值]]></title><link>https://blog.csdn.net/weicao1990/article/details/163246339</link><guid>https://blog.csdn.net/weicao1990/article/details/163246339</guid><author>weicao1990</author><pubDate>Mon, 27 Jul 2026 16:23:25 +0800</pubDate><description><![CDATA[强化学习里有两条最基本的学习路线,几乎所有现代算法都是从它俩长出来的:它们要干的是同一件事——估出每个状态值多少钱。但做法南辕北辙,性格也完全不同。这篇用一个 4×4 迷宫把两条路线讲清楚,顺便用精确解验一验那些常被随口一说的结论到底站不站得住。我们的舞台是这样一个迷宫:
V 值,通俗说就是:站在这个格子上,往后能有多大指望。注意是"往后"——不是这一步能拿多少分,而是从这儿开始一直到游戏结束,总共能捞多少。离目标近的格子指望大,夹在两个陷阱中间的格子指望小。严格一点的说法是:这里有两个词得抠一下。“按当前]]></description><category></category></item><item><title><![CDATA[强化学习-让机器人自己学会走路:一篇讲透 PPO 的大白话笔记]]></title><link>https://blog.csdn.net/weicao1990/article/details/163158032</link><guid>https://blog.csdn.net/weicao1990/article/details/163158032</guid><author>weicao1990</author><pubDate>Fri, 24 Jul 2026 11:46:17 +0800</pubDate><description><![CDATA[因为机器人已经变了,旧记录是"过去的自己"走的,不能再用来指导现在。这个"数据用完即弃、每轮重新采集"的规矩,叫。]]></description><category></category></item><item><title><![CDATA[关键操作前，让人点个头：LangChain Human-in-the-Loop 实战]]></title><link>https://blog.csdn.net/weicao1990/article/details/162311260</link><guid>https://blog.csdn.net/weicao1990/article/details/162311260</guid><author>weicao1990</author><pubDate>Thu, 25 Jun 2026 17:24:08 +0800</pubDate><description><![CDATA[Agent 能自己调用工具固然强大，但有些操作你绝不想让它"自作主张"：删库、转账、对外发邮件、改生产配置……一旦做错，代价是真金白银。中间件就是给这类操作加一道"人工闸门"：当模型打算执行敏感工具时，下来，把这个动作交给人审批——批准、修改、拒绝，或直接替工具作答。这篇文章基于 LangChain 官方 HITL 文档，把它讲透。示例模型统一从.env读取配置。]]></description><category></category></item><item><title><![CDATA[给 Agent 上“护栏“：LangChain Guardrails 实战]]></title><link>https://blog.csdn.net/weicao1990/article/details/162310968</link><guid>https://blog.csdn.net/weicao1990/article/details/162310968</guid><author>weicao1990</author><pubDate>Thu, 25 Jun 2026 17:15:18 +0800</pubDate><description><![CDATA[内置护栏不够用时，写自定义中间件。在每次调用最开始跑一次，适合做会话级检查：鉴权、限流、拦截不当请求——在任何处理开始前就挡掉。import os"""确定性护栏：拦截含违禁关键词的请求。"""= "human":# 直接给出固定回复并跳到结束，跳过所有后续处理return {"messages": [{"role": "assistant", "content": "无法处理含不当内容的请求，请重新表述。]]></description><category></category></item><item><title><![CDATA[让工具能“读身份、写状态“：讲透 LangChain 的 Command 与 ToolRuntime]]></title><link>https://blog.csdn.net/weicao1990/article/details/162310553</link><guid>https://blog.csdn.net/weicao1990/article/details/162310553</guid><author>weicao1990</author><pubDate>Thu, 25 Jun 2026 17:00:41 +0800</pubDate><description><![CDATA[概念是什么关键点注入工具的运行时句柄两个泛型顺序是Context 在前、State 在后；只影响类型提示只读配置（我是谁）来自可变数据（会话里会变的）来自，工具可写、被持久化工具写 State 的唯一方式普通 return 只能"说话"；返回 Command 要手动补 ToolMessage记住这条主线：ToolRuntime让工具"读"到身份与状态，Command让工具"写"回状态。一读一写，工具就从"只会算"升级成"能记事"。]]></description><category></category></item><item><title><![CDATA[让 Agent 记住这一场对话：LangChain 短期记忆（Short-term Memory）实战]]></title><link>https://blog.csdn.net/weicao1990/article/details/162310062</link><guid>https://blog.csdn.net/weicao1990/article/details/162310062</guid><author>weicao1990</author><pubDate>Thu, 25 Jun 2026 16:44:05 +0800</pubDate><description><![CDATA[默认 State 只有messages。继承AgentState可以加自定义字段（用户 ID、偏好等），它们同样被 checkpointer 持久化，并能在工具里通过读取。import os# 继承 AgentState，加自定义字段@tool"""从状态中读取自定义状态信息"""]]></description><category></category></item><item><title><![CDATA[给 Agent 装上“大象记忆“：LangChain 长期记忆（Long-term Memory）实战]]></title><link>https://blog.csdn.net/weicao1990/article/details/162278468</link><guid>https://blog.csdn.net/weicao1990/article/details/162278468</guid><author>weicao1990</author><pubDate>Wed, 24 Jun 2026 17:56:14 +0800</pubDate><description><![CDATA[概念比喻作用人的知识库跨会话持久记忆Store文件柜存取 JSON 文档namespace文件夹路径隔离不同用户/类目文件名 / 文件内容定位并存储一条记忆临时便签开发用，重启丢失带锁的抽屉单机持久化，无需服务器context身份证动态传入 user_id长期记忆的本质，是让 Agent 突破单次会话的限制——通过 Store 以的结构持久化关键信息，让它在任意时间、任意对话里都能召回你的偏好、画像和历史，从而提供连贯、个性化的体验。从"金鱼"到"大象"，差的就是这一个store=]]></description><category></category></item><item><title><![CDATA[上下文工程：为什么你的 Agent 不是模型不够强，而是“没喂对“]]></title><link>https://blog.csdn.net/weicao1990/article/details/162276622</link><guid>https://blog.csdn.net/weicao1990/article/details/162276622</guid><author>weicao1990</author><pubDate>Wed, 24 Jun 2026 16:45:01 +0800</pubDate><description><![CDATA[上下文工程的本质，是围绕"模型每次调用的输入"做系统化的设计与治理。给模型什么上下文、为什么给、给多少、什么时候给、如何压缩和维护。三大维度（怎么控制）：Model（瞬态）/ Tool（持久）/ Life-cycle（持久）三大数据源（信息从哪来）：Runtime Context（配置）/ State（短期）/ Store（长期）一个机制（怎么落地）：Middleware，钩入生命周期每一步我是不是没把正确的上下文喂给它？九成情况下，答案在这里，而不在模型。]]></description><category></category></item><item><title><![CDATA[LangChain Skills：用“渐进式披露“给 Agent 按需挂载专业能力]]></title><link>https://blog.csdn.net/weicao1990/article/details/162276120</link><guid>https://blog.csdn.net/weicao1990/article/details/162276120</guid><author>weicao1990</author><pubDate>Wed, 24 Jun 2026 16:26:02 +0800</pubDate><description><![CDATA[模式解决的问题关键结构基础加载主提示词膨胀SKILLS字典 +load_skill启停管理控制能力边界enabled开关 + enable/disable 工具专属工具技能要"会做"而不只"会说"技能绑定 tools分层技能技能太多难管理根类别 + 子技能树Skills 的本质是渐进式披露：让 Agent 平时"轻装上阵"，需要时再精准地把对应能力挂载进来。当你发现自己在往一个 Agent 的 system_prompt 里不断堆叠各领域的要求时，就该把它们拆成一个个独立的技能了。]]></description><category></category></item><item><title><![CDATA[LangChain 多智能体之 Subagents：让一个主管去指挥一队专家]]></title><link>https://blog.csdn.net/weicao1990/article/details/162275442</link><guid>https://blog.csdn.net/weicao1990/article/details/162275442</guid><author>weicao1990</author><pubDate>Wed, 24 Jun 2026 16:00:07 +0800</pubDate><description><![CDATA[主题要点示例核心模式Supervisor 把子智能体当工具调用、整合结果全部每个子智能体一个工具，适合少量固定模式一一个调度工具 + 注册表，适合大量动态模式二上下文隔离/注入默认隔离，必要时经注入历史模式三Subagents 的本质是“分而治之 + 集中调度”：用主智能体保持全局视野和控制力，用子智能体获得领域专精和上下文隔离。当你的 Agent 开始"什么都想干、结果什么都干不好"时，就是该把它拆成一个主管 + 一队专家的时候了。]]></description><category></category></item><item><title><![CDATA[一文吃透 LangChain Runtime：依赖注入如何让你的 Agent 工具优雅又可测]]></title><link>https://blog.csdn.net/weicao1990/article/details/162240670</link><guid>https://blog.csdn.net/weicao1990/article/details/162240670</guid><author>weicao1990</author><pubDate>Tue, 23 Jun 2026 17:53:03 +0800</pubDate><description><![CDATA[用@dataclass描述上下文结构，创建 Agent 时用声明，调用时用context注入实例。import os# 1. 定义上下文结构：只读的静态信息@dataclass"""根据城市名称获取天气情况"""return f"]]></description><category></category></item><item><title><![CDATA[vscode claudecode 插件 request failed with status code 403]]></title><link>https://blog.csdn.net/weicao1990/article/details/162196285</link><guid>https://blog.csdn.net/weicao1990/article/details/162196285</guid><author>weicao1990</author><pubDate>Mon, 22 Jun 2026 11:40:28 +0800</pubDate><description><![CDATA[【代码】vscode claudecode 插件 request failed with status code 403。]]></description><category></category></item><item><title><![CDATA[用户主目录（Home Directory）迁移指南]]></title><link>https://blog.csdn.net/weicao1990/article/details/161677794</link><guid>https://blog.csdn.net/weicao1990/article/details/161677794</guid><author>weicao1990</author><pubDate>Thu, 04 Jun 2026 10:20:52 +0800</pubDate><description><![CDATA[该方案采用“数据同步 + 软链接”的方式，既能将大文件移至新硬盘以节省系统盘空间，又能保持原有路径不变，避免影响依赖绝对路径的应用程序。]]></description><category></category></item></channel></rss>