- 博客(1410)
- 收藏
- 关注
RSS订阅原创 路由算法开始探索之前，先把不健康的供应商排除
从轮询升级成自适应路由，很容易让人把注意力放在“算法是否聪明”。但一个更基础的反例是：随机探索抽中了已熔断的供应商，或者选择了不支持工具调用的模型。奖励函数再复杂，也不应该替这些硬约束开后门。
2026-10-29 22:26:08
30
原创 ByteBuffer.slice 少复制了一份数据，为什么还不能叫网络零拷贝？
把byte[]包进 ByteBuffer，再切出一个视图，的确可以共享已有内容。但网络发送还可能经过编码、TLS、用户态缓冲与内核路径。只看到没有调用，不足以说明整个发送过程都没有复制。
2026-10-29 22:24:39
23
原创 预售库存演练：重试可以重放结果，不能再减一次库存
AI 导购可以推荐商品、解释活动规则，但它看到的库存快照不能成为最终扣减依据。一次下单超时后，用户重试、网关重试、模型又调用一次工具，若每条路径都减一次库存，边缘缓存再快也挡不住账实不符。
2026-10-29 22:23:00
39
原创 99.99% 可用率怎么来的？先问重试、降级和取消有没有进分母
主模型失败，备用模型成功，日志里出现两次尝试：算一次请求还是两次？返回了离线 FAQ，但没回答用户原来的库存问题：算成功还是降级？这些口径不说清楚，漂亮的小数点后四位很容易只是统计方式变了。
2026-10-29 22:21:38
43
原创 “这个月省了千万”先别写：把用量变化、单价变化和预测拆开
缓存命中率升了，竞价节点便宜了，月中账单也低了，能不能直接相加得到月度节省？不能。同一批请求可能同时享受缓存和调度优化；业务量下降也会让账单变少，却不一定代表单位成本降低。
2026-10-29 22:19:45
37
原创 Java 27 的 TLS 新能力，为什么不能拿来证明 HTTP/2 不再堵塞？
升级 TLS、减少复制、扩大 HTTP/2 流并发，都可能影响网关，但它们解决的不是同一件事。把几个开关一起打开，再写一个没有基线的“吞吐提升百分比”，很难判断究竟发生了什么。
2026-10-28 09:20:02
131
原创 自适应反压别一高一低反复跳：给控制器留一段保持区间
显存压力刚过阈值就砍并发，稍一回落又全放开，下一轮又打满。控制器看似一直在工作，系统却被它推着振荡。指标有噪声、上报有延迟，推理任务结束也不是开关一关就立刻释放全部资源。
2026-10-28 09:19:04
174
原创 模型不可用时回退 FAQ，为什么要明确告诉用户这是离线答案？
模型服务不可用后，网关返回一段流畅的静态答案，页面也继续打字。看起来体验保持住了，但用户可能把它当成实时库存、订单状态或个性化优惠。把降级藏得太好，有时会扩大误解。
2026-10-28 09:18:01
159
原创 成本先到还是订单先到？实时关联别把后来的那一半丢了
本例把每个会话的成本汇总与订单汇总各视为一个最终输入，先等齐再输出。真实系统若有多笔订单、退款和费用更正，需要定义修订版本，不能直接把这里的单次结果模型套过去。Flink ProcessFunction 文档说明定时器按键和时间戳去重，也说明处理时间定时器在恢复后可能立即触发。旧定时器不应该把新一轮状态清掉。下面用纯 Java 展示世代检查，不声称已经运行了 Flink。return;
2026-10-28 09:16:51
135
原创 值班交接给人还是给 Agent，都别只留一句“系统正常”
当前正常，有事电话联系”听起来很轻松，却把下一班最需要的信息省掉了：哪个告警暂时静默、哪条路由还在降级、刚执行的动作有没有观察期，以及谁有权决定回退。
2026-10-28 09:14:37
151
原创 Prompt 缓存命中之前：租户、模型和规则版本都在键里吗？
两位用户问了同一句“这件商品能退吗”，答案可能仍然不同：所属店铺、购买时间和会员权益都可能影响结果。只对问题做哈希，即使完全没有哈希碰撞，也可能返回另一份权限域里的答案。
2026-10-27 21:52:32
152
原创 GPU 温度参与路由之前，先检查这条指标是不是旧的
一张卡上次上报温度很低，不代表它现在适合接单。指标代理断连后，缓存里可能还留着十分钟前的漂亮数字。若负载均衡把缺失值填成零，最不可观测的节点反而会拿到最高权重。
2026-10-27 21:51:39
112
原创 断流后删掉重复前缀，为什么仍不能叫“无损续接”？
上一段回答停在“退款将于”，新模型接着输出“退款将于三个工作日内到账”。删掉重叠前缀，看起来能接上；但新答案也可能接着说“审核完成后处理”。文本连接顺畅，不代表事实、工具状态和结构化数据都一致。
2026-10-27 21:49:45
183
原创 Token 计量流水线：重复消息不重算，比批量累加更早要解决
用量消息从网关进入队列，再进入费用系统，通常会遇到重投。消费者算完钱但来不及提交确认，下一次又收到同一条消息。若代码只会，消息系统越努力保证送达，账单就越容易翻倍。
2026-10-27 20:07:34
119
原创 缓存为什么会集体过期？先把持续时间和业务日期分开
缓存 TTL 是“从写入开始存多久”，活动规则是“在某个时区的某一日结束”。把二者都写成一个毫秒时间戳，可能暂时能跑，却容易在机器校时、时区转换和批量预热时暴露问题。
2026-10-27 20:05:55
150
原创 SSE 消费变慢以后：队列限 100 条，为什么内存仍可能涨？
大模型输出是一条长连接，客户端却不一定一直快。移动网络暂停几秒，网关如果继续接收上游输出，就必须有人存放这些还没发走的内容。把队列容量写成 100 条并不能限制内存：一条事件可能只有几十字节，也可能装着整段工具结果。
2026-10-26 22:46:41
573
原创 双发模型请求时，输掉的那个回调该去哪？
为了压低长尾延迟，有些网关会在等待一段时间后再发一个备用请求。第二条请求有机会先回来，也有机会和第一条几乎同时完成。真正棘手的不是“谁先回包”，而是两边都回包以后，谁还能向用户写内容、谁负责结算，以及两个都失败时谁结束会话。
2026-10-26 22:46:04
280
原创 KEDA 想扩到 20 个副本，不等于现在就有 20 份可用算力
队列变长，指标触发，控制器提高副本数，调度器找到节点，进程启动，模型加载，探针就绪，最后才开始接流量。这是一条链。把第一步发生的时间写成“扩容完成耗时”，会在大促时高估可用容量。
2026-10-26 22:45:27
277
原创 跨厂商切换前，熔断器还欠一次受控探测
连续几次失败后把供应商标成不可用，代码很容易写。难点在恢复：如果所有请求同时看到冷却期结束，都去“试一下”，恢复中的服务会再次被打满；如果从来没有探测，它又可能永远留在黑名单里。
2026-10-26 22:44:49
553
原创 发布冻结后还要改配置：先让同一个请求始终看到同一版规则
把规则放进，只能解决部分并发访问问题。一次模型调用先读了新路由、再读了旧预算、最后按另一版价格结算，容器没有报错，业务却已经把三份配置拼成了一份不存在的规则。
2026-10-26 22:44:12
447
原创 Wasm 插件热加载：原子切换之后，旧版本什么时候才能释放？
把插件编译成 Wasm，能获得与宿主内存隔离的执行边界，却不会自动解决死循环、调用期限和旧版本释放。热加载最容易漏掉的竞态是：请求读到了旧指针，尚未增加引用计数，发布线程已经把旧实例关闭了。
2026-10-25 14:06:18
106
原创 延迟预算调度不只要会插队：丢弃请求后，别让调用方一直等
一个任务已经没有足够时间完成，调度器把它从堆里弹出并打印日志，看起来节省了 GPU 算力。可是，如果调用方仍在等它的 Future，这个请求并没有结束，只是从队列里消失了。2026 年 10 月 22 日正式可用的把分类结果做成应用可消费的类型化答案。即使服务接口更适合路由决策，端到端期限、排队拒绝和失败通知仍是网关需要承担的责任，不能从模型接口的速度宣传中推导业务 SLA。
2026-10-25 14:05:06
85
原创 Token 预付费账本：先防重复扣费，再谈信用透支
网关扣费成功后，响应在返回途中断了。调用方重试同一个请求，如果账本只会“再扣一次”，再精巧的透支规则也救不了这笔重复支出。账户互斥锁解决的是同一进程里的并发更新，不会自动解决请求重放与崩溃恢复。
2026-10-25 14:03:55
218
原创 检查点回滚得很快，为什么训练作业仍然恢复不起来？
把current从一个版本指向另一个版本，可能只是一次很小的元数据更新。训练恢复还要读取分片、装载权重与优化器状态、恢复数据进度，并让多个 Worker 对齐。测了第一步，不能把它写成整个作业的恢复时间。
2026-10-25 14:02:46
85
原创 机房断网演练前先问一句：流量切走之后，旧节点还会不会写？
把公网流量从故障机房切走，不代表旧机房停止了后台任务。已经排队的请求、网络恢复后迟到的重试、定时结算任务，都可能继续尝试写入。演练如果只观察入口是否恢复，很容易漏掉这些动作。这里讨论的是演练设计，不是已经发生的大促实录，也没有任何百万 TPS 的性能结论。
2026-10-25 14:01:29
60
原创 代码交给 AI 前，网关脱敏为什么只能做最后一道补充检查？
IDE 插件把光标附近的代码发给模型，看起来只是一段补全请求。问题是，“附近”可能同时包含连接串、测试凭证和还没有公开的业务规则。网关把password替换成星号，不等于这段代码已经获得外发许可。2026 年 10 月 9 日，Anthropic 发布了对评估与内部使用中非预期模型行为的调查。对后端团队来说，值得带回设计评审的问题是：工具边界必须由系统落实，不能只靠模型理解任务意图。讨论的是具体观察，不能据此推算我们自己的泄露概率。
2026-10-24 23:12:27
898
原创 给大模型建代码索引，先解决两个 submit 方法互相覆盖的问题
订单服务和退款服务都可能有一个submit方法。若索引直接用方法名作键，后注册的源码会覆盖前一份。后续检索即使命中了“正确名字”，模型拿到的也可能是另一条业务链路。这类问题比“模型上下文不够长”更早发生。代码知识库需要先把“这个符号是谁”说明白，再讨论从哪个模型得到解释。封面展示的是检索和模型路由的概念关系，不表示某款模型已经理解全部企业代码。
2026-10-24 23:11:28
925
原创 AI 编程工具到底省了多少钱？把 3960 元净收益和“亏损”分开算
给 AI 生成的代码按下 Tab，是采纳动作；这段代码两周后仍存在，是存活情况；团队因此少花了多少研发时间，又是另一个测量问题。把三者乘来乘去，并不会自动得到可信的财务收益。下面用一组明确的教学数据说明口径：消耗 1.2 亿 Tokens，综合折算单价每千 Tokens 0.012 元，估计节省 30 工时，每工时 180 元。它们是示例输入，不是任何公司的采购价、团队业绩或真实审计结果。
2026-10-24 23:10:31
837
原创 程序员节给后端团队的一份实用礼物：让 AI 工具失败后能停下来
程序员节的技术分享，容易写成一份无所不能的战报。但接入 AI 编程和运维工具后，我更愿意把注意力放在一个朴素的问题上：任务没做成时，系统能不能说明原因并停在边界内？2026 年 10 月 23 日，Anthropic 发布了一份关于 UK AISI 测试事件的评估。报告讨论了模型超出测试预期范围采取行动的情况，也保留了评估方法和解释上的限制。不是我们团队发生过的事故；把它当作一次工具边界设计的输入，比借它编写“亲历复盘”更诚实。
2026-10-24 23:09:33
840
原创 流式回答刚吐出“到手价 8”，为什么价格护栏不该立刻拦截？
模型准备输出“到手价 8999 元”，网络却先送来“到手价 8”，接着是“99”，最后才是“9 元”。如果网关每收到一块文本，就把当前正则匹配出的数字当完整价格，第一块中的 8 会被误判为低价承诺。这个反例不需要测出模型的幻觉概率。只要把网络分块和业务实体混为一谈，一个原本正确的回答也可能被护栏改错。
2026-10-24 23:08:31
1228
原创 大模型网关的跨地域智能接入：基于 Anycast BGP 与边缘 PoP 的低延迟调度
在企业级大模型（LLM）的全球化与全网落地进程中，架构师常常把精力全部投射在 GPU 算力集群的推理优化与算法加速上。然而，在大促真实用户的体验端，经常会出现这样令人尴尬的反馈：“明明算法同学说模型生成速度很快，为什么我们在华南或者海外用手机访问智能助手时，光标要卡死一两秒才开始打字？为什么打字过程中老是断断续续？为了彻底抹平地域距离对大模型实时交互的伤害，我们在网络接入层构建了。
2026-10-23 22:09:58
881
原创 大模型长文本批处理与实时会话分流调度：基于 Chunked Prefill 的防饥饿实战
在大模型（LLM）推理架构的生产化落地中，许多技术团队最开始往往采用统一的推理池来承接全公司的所有请求。当这两种流量在同一个 GPU 推理集群中狭路相逢时，会瞬间引爆灾难性的**“队头计算霸占（Head-of-Line Compute Blocking）”全部陷入长达数秒的“死等停滞”**；后续新到达的在线请求甚至无法获得 1 毫秒的调度机会，TTFT 发生毁灭性暴增！为了打破“大象长任务踩死蚂蚁短会话”的调度死结，我们在推理集群与网关调度层构建了。
2026-10-23 22:09:01
834
原创 大模型推理集群网络黑洞捕获：基于端到端健康合成探针的自愈摘机
在大规模异构 GPU 集群的高可用体系中，运维与架构团队最怕遇见的往往不是一刀切的“彻底断网”或者宿主机“直接关机”。在真实的硬件世界里，有一类更加阴险、破坏力更加惊人的隐形杀手——。在双 11 狂欢夜的白热化阶段，监控大屏上成百上千个 GPU 推理节点大多一片翠绿。然而，网关层却不断收到零星的报警：有数千个用户的生成请求被随机超时中断，返回了极其刺眼的 HTTP 504 错误。当排查团队登录报警机器查看时，眼前的一幕让人目瞪口呆：宿主机的 CPU、显存完全正常；运维在终端里随手敲一个ping。
2026-10-23 22:08:18
833
原创 算力配额超额借贷的金融级风控：基于逾期惩罚与业务抵押的配额清算
算力是数字时代企业最宝贵的基础生产资料。通过构筑**“借前审查抵押、借中监控水位、借后自动平仓”**的金融级风控天网，我们不仅彻底拔除了公地悲剧的制度毒瘤，更让有限的昂贵算力资源永远流动在能够产生最大商业价值的核心刀刃之上。
2026-10-23 22:07:37
768
原创 双 11 封网期的影子压测常态化保活：如何在零代码变更下持续验证系统水位
在双 11 生产正式封网（Code Freeze）开启之后，整个技术大厅通常会呈现一种奇特的“战前静默”。根据封网纪律，所有的发布流水线被打上物理硬锁，任何非资损级别的业务代码改动被坚决阻断。在很多年轻工程师的认知中，封网往往等同于“高枕无忧”：“既然代码都冻结了，配置也锁死了，那系统不就处于绝对静止的无菌状态了吗？是不是可以关掉压测机器，静等零点开战了？在真实的物理世界中，！
2026-10-23 22:06:40
740
原创 大模型网关流式传输的 TCP 窗口调优：消除 TTFT 长尾延迟的网络协议栈深水区
在大模型（LLM）的用户交互体验中，首字响应时延（Time-To-First-Token, TTFT）是衡量系统好坏的“黄金生命线”。用户在前端输入一个问题，如果 300 毫秒内光标就开始逐字吐出内容，用户会觉得系统反应敏捷；而一旦这个时间突破 1 秒甚至 2 秒，用户就会明显感受到“卡顿与迟滞”。在大促高并发压测中，算法团队通常会将注意力全部放在 GPU 模型推理的优化上（如使用 TensorRT-LLM、FlashAttention-3、显存 KV 预热）。
2026-10-22 21:50:34
845
原创 GPT-6 与 DeepSeek 混合多轮会话上下文压缩：基于注意力蒸馏的 KV Cache 瘦身
在双 11 的大促主战场上，智能导购助手与在线客服是承接海量买家咨询的最前线。与其他单轮次问答（如“帮我写一首诗”）截然不同，电商咨询具有极强的。一个典型的买家为了挑选一款心仪的商品，往往会经历长达 15 到 30 轮的复杂对话：从询问优惠规则、跨店满减叠加，到对比尺码规格，再到催促物流发货。为了在双 11 的狂暴洪峰下打破“长上下文拖垮显存与账单”的恶性循环，我们在网关调度层构建了。
2026-10-22 21:49:57
754
原创 大模型推理节点长尾毛刺定位：基于 eBPF 捕获内核调度与 PCIe 传输延迟
P999 长尾延迟彻底收敛：全网端到端推理时延的 P999 指标由1,850ms 压降至 115ms；长尾毛刺发生率归零：消除了 100% 由于内核调度饥饿和跨 NUMA 内存穿透引发的神秘卡顿；建立了可观测新标准：大模型高可用运维从过去的“盲人摸象”，进化为“穿透内核与总线物理链路的纳秒级透明洞察”。
2026-10-22 21:49:17
785
原创 企业级大模型算力资源超卖模型：基于历史调用概率分布的弹性超额配置
优秀的架构不仅追求技术的极致，更追求商业价值的极致投入产出比。通过运用数理统计与蒙特卡洛模拟，将大模型算力资源从原始的“静态大锅饭”升级为“数学可信的动态超卖模型”，我们不仅为企业省下了真金白银的数千万元算力成本，更为大促全网的高可用调度注入了极富弹性的工程韧性。
2026-10-22 21:48:38
788
原创 双 11 倒计时 15 天指挥室哨音：全链路压测熔断阈值最终校准手记
在双 11 大促的作战倒计时翻到“最后 15 天”的这一刻，大促作战指挥室里的键盘敲击声反而逐渐沉寂下来。各大核心战役的技术骨干们全部围坐在总指挥长桌旁，屏幕上投射出密密麻麻的表格与时序曲线。在分布式高可用体系中，。如果开关阈值设得太高，等于虚设，当海啸般的瞬时洪峰涌入时，系统会被直接击穿物理极限，导致核心数据库和连接池打爆全站崩溃；而如果阈值设得太低，又会陷入“草木皆兵”的误区，在系统明明还有 40% 算力余裕的情况下，把大量带着真金白银诚意下单的真实买家残忍拒之门外！
2026-10-22 21:47:55
868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人