- 博客(142)
- 收藏
- 关注
RSS订阅原创 长上下文稀疏注意力怎么选：HASA vs Quest / InfLLM / UNIQUE / H2O 的五个维度
把五个方法放在同一张表上比"最高分"，是选型里最容易出错的一步——因为 0.3 分的差距在 1500 条样本上根本不可区分。本文换三个更硬的维度来比：预算弹性（每减半一次掉多少分）、显存副作用（省带宽还是省显存）、可复现性（有没有代码）。结论是 HASA 在 LongBench-Pro 上确实支配了 UNIQUE 的四倍预算，但在 RULER 上并不支配；而它最大的短板不是精度，是没有公开实现。
2026-11-15 21:43:25
48
原创 把 HASA 装进线上服务：5 个场景、1 套骨架、1 本成本账
稀疏注意力的论文都在比 kernel 快多少倍，但真正上线时要回答的是另外三个问题：我的业务适不适合、出错时怎么兜、这笔钱到底省在谁的账上。本文用一套可运行的服务骨架（预算路由 + 幂等 + 审计 + 回退）把 HASA 落进 5 个真实场景，并算清一件事——它省带宽、不省显存，对托管 API 一分不省。
2026-11-15 21:41:52
41
原创 一个注意力头该看多细？拆解 HASA：用 QK 算子的奇异谱决定稀疏分辨率
免训练稀疏注意力一直有两个"全局旋钮"——打分用多少维、块切多细。HASA（arXiv 2611.09700）的论点是：这两个旋钮不该由人定，而应该由每个头自己的。
2026-11-15 21:41:01
91
原创 极限稀疏：选键越细越好
选型会上最容易跑偏的地方，是拿"加速比"当唯一指标。骨干本身的注意力占比。同一个算法在 A 骨干上 3.2 倍、在 B 骨干上 4.7 倍，差异主要来自骨干而不是算法（下面第 4 节会把这件事算清楚）。所以我用四个维度，且每个维度都配一个"能证伪的问题"：维度看什么证伪问题保真度与稠密生成的距离（PSNR/SSIM/LPIPS）+ VBench 分项换一批 prompt 还成立吗成本端到端秒数、单条价格、单卡日产密度降 10 倍，端到端降几倍可控性。
2026-11-14 17:48:20
219
原创 极限稀疏：前10步最划算
ESTRA 在论文里是 3.26 倍加速，落到工程上是"给定交付时限，反推能买到多低的密度"这类问题。本文不谈数学，只谈落地：先划清能力边界（它救不了 VAE、救不了短序列），给出三档质量分层的判断标准，再用三个可直接运行的脚本算清三件事——35 分钟能买到 4.8% 密度、128 卡一天多出 3.3 倍产能、以及"把预算花在前 10 步稠密 warmup 上"比"把密度从 5% 提到 100%"的效率高 2.6–6.6 倍。
2026-11-14 17:47:18
277
原创 极限稀疏：选键不降精度
一条 720p、81 帧的视频，稠密注意力在 H20 上要跑 114 分钟，其中约 73% 的时间花在注意力上。ESTRA（arXiv 2611.10448）把"精确计算多少 query-key 交互"压到 1%，并且宣称质量仍然接近稠密生成。本文拆开它的三级近似——簇内共享打分、token 级选键、方差校准补偿（VCM），用 numpy 复现 VCM 的二阶项为什么恰好等于。
2026-11-14 17:45:48
155
原创 PyCharm 使用完全指南：从安装到虚拟环境（venv）实战
PyCharm 的学习曲线在所有 Python IDE 里偏陡，但陡的是概念而不是操作。理解解释器（Interpreter）是什么—— 它决定"你的代码由谁来跑"。理解虚拟环境（venv）是什么—— 它决定"你的代码能用哪些第三方包"。理解项目（Project）与包（Package）的组织—— 它决定"代码怎么被找到"。把这三件事想通了，PyCharm 剩下的都是查快捷键的事。而 venv 这块，最值得反复咀嚼的就是那行pyvenv.cfg和sys.prefix!
2026-11-12 22:12:56
283
原创 Fused-Softmax 怎么把 softmax 塞进 GEMM:四个改动、一条误差预算、2.1 倍端到端加速
AMD 在 arXiv 2611.09225 里提出了 Fused-Softmax Attention,一个 training-free 的量化注意力算法。它的核心动作很反常识——故意浪费矩阵算力,去替代那些在低精度下已经跑不动的向量指令。本文拆开它的四个改动,用 numpy 复现"冻结最大值 + 回滚"和"位技巧指数"的误差量级,并算清一件事:为什么把 GEMM 从 BF16 换成 FP4 端到端只值 1.14 倍,而把 softmax 搬进矩阵核心才值另外 2.1 倍。
2026-11-12 21:46:31
307
原创 一文读懂 TriAttention 的三档注意力：为什么“少算一半“和“降精度算“必须一起决策
TriAttention（arXiv 2611.07256，2026-11-05，UNT LLaVi Lab 与圣路易斯大学）把每个注意力头的 QK 计算切成三档——跳过、4-bit、8-bit，只用一个 head 上的两个整数就能描述整条策略，再用离线校准做全模型预算分配。本文拆四件事：为什么"能不能删"和"能不能降精度"是两个正交问题；两个整数如何覆盖整个 causal 三角；校准误差为什么必须穿过输出投影并按层归一化；以及论文表格里三个不显眼但会误导结论的数字。
2026-11-12 21:43:31
151
原创 托管 Agent 运行时怎么选：Kimi Hosted Agents、Foundry Copilot Harness、自建沙箱与 Super-agent 的六维对比
比较 Agent 运行时，最容易掉进的坑是拿模型榜单比平台。平台之间真正的差异在下面六处，而且它们互相牵制：维度为什么必须比不比会怎样计价口径墙钟计费 vs 活跃 CPU 计费，差距可达 2.6 到 19 倍预算按错的模型编，上线三个月爆表状态与恢复语义状态在谁手里，决定迁移成本与故障后果想换平台时发现历史带不走可控性harness 能改到哪一层，决定你能修什么 bug遇到框架层问题只能等厂商排期数据路径「执行搬走」不等于「数据不出网」合规评审不过，返工重来生态。
2026-11-10 19:03:10
73
原创 Agent 托管运行时能接哪些活：从 SRE 值班到基金对账，5 个场景的最小实现与一本按成功率摊过的成本账
托管 Harness 卖的是「让任务别断」，不是「让模型变聪明」。所以判断要不要用它，问的不是模型分数，而是你的业务里有没有「跑 40 分钟、中途断了就全白跑」的活。这篇先划能力边界（输入形态到输出形态），再按替代程度分三档，然后给 5 个可落地场景的最小实现与风险点，最后用一段可运行的 120 行骨架把「平台不管、必须你自己写」的四件事补上，并算清单成功任务的真实交付价。
2026-11-10 19:01:57
170
原创 Kimi Hosted Agents 把 Harness 做成了云服务：会话事件流、恢复游标与三段计费的真实成本结构
2026 年 11 月 5 日，月之暗面把支撑 Agent 长任务运行的 Harness 单独拿出来卖，定价是「沙箱 ¥0.072/小时 + 模型 token + 插件次数」三段式。这篇拆四件事：会话为什么必须写成只追加的事件流、官方文档里那个「恢复游标」为什么不是事件 ID、三段计费里沙箱只占账单的 1.8% 意味着什么、以及 Inference Hook 到底拦得住什么。文末给出 40 行代码，你可以拿自己任务的参数算一遍账单。
2026-11-10 18:59:43
226
原创 不同模态的模型会收敛到同一个世界表征(三)
选型会吵起来，通常不是因为数据不够，是因为大家在比不同的东西。有人比分数，有人比训练成本，有人比「社区有没有人踩过坑」。所以先把维度钉死，五个，每个都有明确的度量方式：维度怎么量为什么必须有这一维对齐质量mutual 10-NN / 跨模态 R@1这是路线存在的理由，没有它其余免谈数据形态成本需不需要配对？配对要不要人工标？决定项目能不能启动，比分数更硬训练成本同预算下的墙钟时间 + 显存决定能不能迭代，迭代不了就没有第二版事后可拼接性两个独立训练的模型能不能接上。
2026-11-08 20:20:30
172
原创 不同模态的模型会收敛到同一个世界表征
10 月 29 日，Balestriero 与 LeCun 在 arXiv 挂出一篇论文（2610.39302），把「不同模态的模型会收敛到同一个世界表征」这个 2024 年提出的假说，在 JEPA 框架下证成了定理：只要正样本对是。
2026-11-08 20:17:14
299
原创 同档开源大模型怎么选：ERNIE 5.5 Flash Base 对比 DeepSeek V4 Flash、混元 Hy3、MiMo V2.5、Kimi K3.1 Pro
6 款开源权重模型在一周内集中发布，参数从 280B 到 2.8T，许可证从 MIT 到定制协议。本文按能力、长上下文账本、部署门槛、许可证四个维度硬碰，用三段可跑代码算出缓存增长阶、许可证闸门和帕累托前沿，最后给出一棵能直接用的决策树。
2026-11-06 22:46:02
235
原创 280B 的 base 模型能用在哪些场景？ERNIE 5.5 Flash Base 的 6 个落地路径与一本真实成本账
ERNIE-5.5-Flash-Base 是预训练终点的检查点，不能对话、没有 chat template、权重 288GB。本文不谈跑分，只回答三个问题：它能接什么活、第一步怎么搭、账算不算得过来。文中给出显存预算、数据打包、单任务成本三段可跑代码，并得出一个不太讨喜的结论——自建的单任务成本是调用 API 的 3 到 4 倍。
2026-11-06 22:44:38
162
原创 一文读懂 ERNIE 5.5 Flash Base 的效率设计：37 层只缓存 1/128 的 KV，凭什么敢开 1M 上下文
百度 11 月 5 日开源的 ERNIE-5.5-Flash-Base（280B 总参、14B 激活）把 43 层里的 37 层改成「每 128 个 token 只缓存一条」，只留 6 层看全文。本文拆开这套混合稀疏注意力、多路由器 MoE、ECHO 投机解码，并用四段可跑代码算清楚：128:1 的压缩比在整模型上到底剩下多少、为什么必须留 6 层、多路由器为什么不多花 FLOPs 却能选得更准。
2026-11-06 22:43:07
235
原创 原生 SVG 和 GIF 到底该选谁：GPT-Image-2.6、Recraft、代码模型、自动描边五路横评
素材生成这个赛道的对比特别容易被带偏，因为「谁画得好看」是个无法收敛的问题，而各家发布时又都在强调自己的强项。所以我先把维度定死，并且说明为什么是这五个而不是别的。维度为什么必须比怎么量化可编辑性决定这份资产能不能进设计系统，是「素材」还是「截图」有无viewBox、路径指令数、能否改色、能否分层一致性决定要不要返工；素材是成套交付的，单张好看没用多轮编辑漂移、帧间稳定度、同风格批量价格决定能不能规模化，但必须换算成「交付价」单次成本 ÷ 合格率 + 人工分钟延迟与吞吐。
2026-11-05 21:15:30
190
原创 GPT-Image-2.6 的 GIF 和 SVG 能用在哪些场景？5 个能上线的工程模式与一张成本账
图标有客观验收标准（网格、颜色数、路径指令数），可以自动打分。这也是唯一一个我敢让机器自己判合格与否的素材类型。
2026-11-05 21:13:39
377
原创 我把 GPT-Image-2.6 的 GIF 和 SVG 输出拆开看了一遍：它其实没做视频，只画了一张精灵图
原文大意是：生成一张用于无缝循环 GIF 的单张动画序列图（sprite sheet），严格包含 6 个连续帧，按 3 列 × 2 行网格排列，从左到右、从上到下阅读，每个面板尺寸完全一致，固定前侧四分之三机位，同一角色、同一书桌、显示器、服装和背景，第六帧平滑过渡回第一帧，无字幕、无边框、无留白。如果你要的是 10 秒带镜头运动的短片，它帮不了你，还是得回到视频模型。它做的是把两种「格式」变成两个「可编程的输出通道」，然后用一个特别朴素的工程手段（画一张格子图再切）绕开了视频模型的成本。
2026-11-05 21:11:33
235
原创 Hy4、Claude Opus 5.5、Kimi K3.1 Pro 该选谁？
Hy4 发布当天，"最强开源"和"仍落后闭源"这两句话同时出自官方。
2026-11-04 23:14:02
453
原创 5 条落地路径 + 一份可复用的工程骨架
官方提到的"人机双写"——模型可以和用户实时协作编辑 Word / Excel / PPT——是办公场景里最实用的一个设计点。原因是办公文档的本质是共创，不是生成。用户要的不是"给我一份报告"，而是"我改一段，你补一段，我们同时在一份文件上推进"。冲突怎么解。模型在 B 列插了一行，用户同时在 C 列删了一行，两份修改怎么合并？现实中的可行做法有三档：策略做法适用区域锁模型只写指定区域，其余只读报表、模板类文档操作变换（OT）把双方操作转成可交换的操作序列需要精细合并的协作文档。
2026-11-04 23:12:23
289
原创 腾讯混元 Hy4 的 Computer Use 是怎么实现的：把「看屏幕」拆成一次状态机推理
2026 年 11 月 4 日，腾讯混元发布 Hy4 正式版，770B 总参数 MoE，第一次给主力模型装上了视觉理解和电脑操作（Computer Use）。
2026-11-04 23:10:26
287
原创 跨境电商竞品报告工作流搭建流程（三）总结篇
环节时间难度下载登录 WorkBuddy2 分钟零创建文件夹、确认路径1 分钟零写提示词并手动测试15—30 分钟（含调整）低，但需要耐心创建自动化任务2 分钟零每周维护（路径 B）30 秒零每周维护（路径 A）0零，但数据精度低三个最重要的判断：第一，数据源决定一切。没有付费插件，WorkBuddy 只能读到页面上的标题和价格，读不到销量。你的周报质量上限，在你选择数据源的那一刻就基本确定了。如果预算允许，Helium 10 或卖家精灵的订阅是这个工作流里。
2026-11-03 23:33:42
238
原创 跨境电商竞品报告工作流搭建流程（一）
用 WorkBuddy 直接“抓取亚马逊销量前 10”有一个现实限制：WorkBuddy 的浏览器自动化能力可以打开页面、滚动、点击、读取内容，但亚马逊的销量数据并非直接展示在页面上，需要依赖插件（如 Helium 10）或第三方数据工具来推算。（精度有限，适合起步）和（精度更高，推荐）。
2026-11-03 23:28:31
166
原创 实战篇——知识库 Agent“产品客服助手”与发布上线
第三篇练的是知识库的“边界意识”——RAG 的效果一半靠文档质量，一半靠 Prompt 中的“禁止编造”约束。这个项目创建一个产品客服 Agent，知识库中放入一份虚构的“智能水杯产品手册”，要求 Agent 只基于手册内容回答用户问题，手册中没有的信息必须明确说“暂未收录”。Agent 调试通过后，点击右上角“发布”，在渠道列表中选择“飞书”。回到扣子发布页，粘贴这两个值，勾选“消息接收”和“发送消息”权限，点击验证并保存。用管理员账号登录飞书开放平台，创建“企业自建应用”，类型选“内部应用”。
2026-11-02 23:22:18
171
原创 进阶篇——工作流实战“新闻早报生成器”
单靠提示词只能做“文本进、文本出”的任务。当需要获取实时信息 + 结构化处理 + 生成图片时，必须上工作流。这个演示项目的效果是：用户在开始节点输入一个新闻主题（如“人工智能”），工作流自动搜索当天新闻、提炼摘要、生成一张带日期和摘要的早报图片，并在结束节点返回图片。完整节点链路：开始 → 新闻搜索 → 大模型（提炼摘要）→ 获取当前时间 → 画板（排版图片）→ 结束。开始节点：设置一个输入变量 ，类型为文本，描述写“新闻主题关键词”。在试运行时，这个变量的值就是用户输入的词。新闻搜索节点：从插件库添加搜索
2026-11-02 23:21:30
237
原创 扣子入门篇——从零建一个“工作日志精灵”Age
如果输出格式不符合 Markdown 结构，把提示词里的“不要添加额外段落”改成更硬的指令：“输出必须以‘## 今日完成’开头，以‘## 明日建议’下的最后一条建议结尾，前后不得有任何其他文字。登录扣子后，在 Agent 区域点击“+”。这个项目选择“定义专属 Agent”，名称填“工作日志精灵”，描述写“将零散工作记录整理为结构化日志”。如果 Agent 在“今日完成”里把“吃拉面”也写进去，说明提示词中“工作事项”的边界不够清晰，需要补充排除规则：“社交、用餐、休息等非工作内容不计入完成事项。
2026-11-02 23:20:43
268
原创 RDMA 文件传输踩坑（五）：READY 发送成功后，为什么出现 Work Request Flushed Error？
完成 READY/ACK 初步改造后，我在主机先插入约 5 万条数据，再启动从机进行 AOF 同步。主机只打印了“master listening”和“master connection established”；从机打印“slave connection established”“SEND type=3, length=0”，随后出现：。这个日志特别容易被误读为“READY 消息发送失败”。但结合代码， 的打印位置在 成功等待 SEND CQE 之后，说明它更可能是在随后等待 DATA 的接收完成时，拿
2026-10-31 23:51:40
231
原创 RDMA 文件传输踩坑（四）：从固定延时改造为 READY/ACK 协议
关键词：停等协议、READY、MARKER、FINISHED、应用层 ACK、STAR。
2026-10-31 23:50:33
234
原创 Ubuntu 配置 Samba 共享文件夹并映射到 Windows 完整指南
在日常开发中，我们经常需要在 Windows 宿主机和 Ubuntu 虚拟机（或物理机）之间互相传输文件。虽然可以使用 VMware Tools 或第三方工具，但通过协议将 Ubuntu 的文件夹直接映射为 Windows 网络驱动器，是最高效、最原生的做法。以下是完整的配置流程记录，适用于 Ubuntu 20.04 / 22.04 / 24.04。
2026-10-31 13:40:46
171
原创 第三期：结果解读、复核与异常处理
Codex 返回的异常列表和数字，。这一期讲怎么判断哪些可以用、哪些必须回原始数据对账，以及当工具本身出问题时怎么办。
2026-10-30 23:38:41
122
原创 第二期：向 Codex 提出有效的出货异常查询
接入跑通后，员工面对的不再是“怎么连”，而是“怎么问”。Codex 本身不会主动知道你们 LangGraph 里封装了哪些排查逻辑，它需要被明确告知。这一期解决的就是这个问题。
2026-10-30 23:37:51
194
原创 第一期：把 MCP Server 接入 VS Code 与 Codex
启动 MCP Server 后，在 Codex 的聊天窗口（Agent 模式）里，员工应该能看到可用工具列表中出现了你们 MCP Server 提供的工具（比如。（即 VS Code 直接执行一条命令来拉起进程），员工还需要有对应的运行时（如 Python/uv 或 Node/npx）。你们用 Docker 做容量隔离，MCP Server 大概率跑在容器里，或者需要 Docker 提供运行环境。（FastAPI 暴露的 MCP 端点），则只需要 URL 和鉴权信息。如果你们的 MCP Server 是。
2026-10-30 23:36:08
276
原创 RDMA 踩坑（三）：多个 RECV 指向同一块内存，为什么会丢数据？
多个 ibv_post_recv 指向同一内存（cm->rbuffer）会导致接收数据被后续写入覆盖，引发“完成事件与实际数据不一致”问题。尽管提交了16个接收请求，但因所有WR共享同一缓冲区，后到达的MARKER消息会覆盖前一条DATA消息内容，造成从机仅读到12字节异常。根本原因在于：注册MR不等于自动隔离缓冲区，多WR不等于多独立槽位。修复方案为：单缓冲区需严格顺序处理（完成→消费→重投），或多缓冲区使用独立内存+wr_id绑定槽位，确保完成事件与对应缓冲区正确关联。
2026-10-29 23:31:36
54
原创 RDMA 文件传输踩坑（二）：为什么 `sleep()` 不能保证接收端准备好了？
在RDMA文件传输中，依赖sleep()等待接收端就绪不可靠，因时序竞争无法保证。正确做法是通过协议层明确同步：从机先提交接收WR并发送READY，主机收到后才发送数据，形成显式背压。此举将“时间猜测”转为“状态确认”，提升可靠性。同时需注意控制消息超时、重连与重复READY防御，确保高负载下稳定传输。
2026-10-29 23:30:10
348
原创 RDMA项目踩坑（一）：为什么最后一块数据必须使用实际长度？
在RDMA文件传输中，最后一块数据必须使用实际读取长度，因SEND/RECV为消息语义，非字节流。若固定使用缓冲区大小发送尾块，会传输未读取的无效内存。发送端应根据fread()返回值设置SGE长度，接收端以wc.byte_len推进偏移，确保每条消息真实有效。三者长度（SGE发送、SGE接收、WC实际）不可混淆，否则导致越界或数据污染。
2026-10-29 23:28:08
94
原创 第三期：LangChain + Ollama 本地 RAG 应用（从模型到产品）
如果检索效果不够好（尤其是查具体数字、专名时漏检），可以引入混合检索：稠密向量（Chroma）加稀疏检索（BM25），用 RRF 融合排序。有测试数据显示，在事实型查询上，混合检索的 recall@3 从纯稠密的 73.3% 提升到 93.3%。第三期的验收标准：上传一份 PDF，问一个文档中明确有答案的问题能正确回答，问一个文档中没有的问题能说“未提及”而不是编造。这个提示词中的“只根据文档回答，没有就说未提及”很重要。如果文档中没有相关信息，直接说“文档中未提及”，不要编造。# 带反幻觉约束的提示词。
2026-10-28 16:40:08
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人