- 博客(1239)
- 资源 (7)
- 收藏
- 关注
原创 GLM5.3 CyberSec w4A16本地部署[16]:Responses API 兼容与 Agent 接入
GLM5.3 CyberSec w4A16本地部署[16]:Responses API 兼容与 Agent 接入
2026-10-25 15:11:22
73
原创 GLM5.3 CyberSec w4A16本地部署[15]:抗退化采样与思考档
模型退化由三重根因叠加导致:MRV2投机采样在病态点放大问题、服务端缺省采样参数为1.0/1.0、思考档缺省为Max。修复方案为:设置抗退化缺省参数(temperature=0.8, top_p=0.9, frequency_penalty=0.3)、服务端强夹紧(限制最高值)、默认思考档为high,并禁用enable_thinking=false陷阱。实测验证0/200无退化,系统稳定性显著提升。
2026-10-25 14:54:25
184
原创 GLM5.3 CyberSec w4A16本地部署[14]:服务稳定性与运维加固
服务稳定性与运维加固摘要(148字): 事故暴露三类故障:logprob fp32上采致OOM(退出码0但日志含torch.OutOfMemoryError)、NaN引发400错误、陈旧keep-alive导致RST。根因在显存预算不足、响应序列化异常与连接复用。通过三步判别法(容器状态+日志+带外)精准定位。部署中需MemoryMax=900G与memory.oom.group=1配套,防止波及全局。哨兵分三态判别避免误判,结合启动档位化、运行期守护、客户端断点续跑等分层加固,实现高可用。
2026-10-25 13:52:16
268
原创 GLM5.3 CyberSec w4A16本地部署[13]:并发与长上下文调度
本文揭示长上下文并发瓶颈根源:vLLM缺省--long-prefill-token-threshold=0导致单条长prefill一步吃光每步token预算,强制串行。修复为2048后,4条128K请求从错峰197秒降至同步191秒,KV利用率从24%升至71.9%,并发能力显著提升。结论:并发上限由调度器阈值决定,非KV池或序列数;已将2048设为缺省,无副作用。最大可用上下文512K,1M需PP=4但注意力退化不可用。
2026-10-25 13:33:20
155
原创 GLM5.3 CyberSec w4A16本地部署[12]:NCCL 通信调优
GLM5.3 CyberSec w4A16本地部署[12]:NCCL 通信调优
2026-10-25 13:11:00
265
原创 GLM5.3 CyberSec w4A16本地部署[11]:PP 与投机解码:从乱码到全面超越
GLM5.3 CyberSec w4A16本地部署[11]:PP 与投机解码:从乱码到全面超越
2026-10-25 12:55:26
308
原创 GLM5.3 CyberSec w4A16本地部署[10]:CUDA 图捕获与编译开关
GLM5.3 CyberSec w4A16本地部署[10]:CUDA 图捕获与编译开关
2026-10-25 12:38:46
310
原创 GLM5.3 CyberSec w4A16本地部署[9]:MTP 调参(num_speculative_tokens 的选择及其负载相关性)
GLM5.3 CyberSec w4A16本地部署[9]:MTP 调参(num_speculative_tokens 的选择及其负载相关性)
2026-10-23 22:57:59
252
原创 GLM5.3 CyberSec w4A16本地部署[8]:MTP 投机解码落地
GLM5.3 CyberSec w4A16本地部署[8]:MTP 投机解码落地
2026-10-23 18:36:28
334
原创 GLM5.3 CyberSec w4A16本地部署[7]:落盘缓存与热启动复用
GLM5.3 CyberSec w4A16本地部署[7]:落盘缓存与热启动复用
2026-10-22 23:04:14
361
原创 GLM5.3 CyberSec w4A16本地部署[6]:加载链路与磁盘规划
GLM5.3 CyberSec w4A16本地部署[6]:加载链路与磁盘规划
2026-10-22 22:50:54
270
原创 GLM5.3 CyberSec w4A16本地部署[5]:卸载换显存的边界
GLM5.3 CyberSec w4A16本地部署[5]:卸载换显存的边界
2026-10-21 23:36:57
190
原创 GLM5.3 CyberSec w4A16本地部署[4]:显存预算与上下文优化
GLM5.3 CyberSec w4A16本地部署[4]:显存预算与上下文优化
2026-10-20 22:57:27
402
原创 GLM5.3 CyberSec w4A16本地部署[3]:显存预算与上下文档位
GLM5.3 CyberSec w4A16本地部署[3]:显存预算与上下文档位
2026-10-19 12:30:13
143
原创 GLM5.3 CyberSec w4A16本地部署[2]:并行策略与 PP 切分
GLM5.3 CyberSec w4A16本地部署[2]:并行策略与 PP 切分
2026-10-19 00:04:35
201
原创 在双 RTX 3090 上跑满Qwen3.8-Flash-Next:Strata 本地部署与调优
在双 RTX 3090 上跑满 Qwen3.8-Flash-Next:Strata 本地部署与调优
2026-10-16 22:31:22
529
原创 GLM5.3 CyberSec w4A16本地部署[1]:部署形态与 overlay 体系
GLM5.3 CyberSec w4A16本地部署[1]:部署形态与 overlay 体系
2026-10-11 12:23:18
414
原创 GLM5.3 flash cybersec本地部署[5]:生产运维与故障恢复
GLM5.3 flash cybersec本地部署[5]:生产运维与故障恢复
2026-10-10 21:02:17
386
原创 GLM5.3 flash cybersec本地部署[4]:基准测试与复现
GLM5.3 flash cybersec本地部署[4]:基准测试与复现
2026-10-09 20:57:10
349
原创 GLM5.3 flash cybersec本地部署[3]:工程加固与安全防护
GLM5.3 flash cybersec本地部署[3]:工程加固与安全防护
2026-10-09 20:05:40
379
原创 GLM5.3 flash cybersec本地部署[2]:性能加速机制
GLM5.3 flash cybersec本地部署[2]:性能加速机制:网卡拓扑、I/O 与缓存、投机解码
2026-10-09 09:18:42
322
原创 GLM5.3 flash cybersec本地部署[0]:环境准备与首次启动
GLM5.3 flash cybersec本地部署[0]:环境准备与首次启动
2026-10-07 00:17:16
781
原创 银河护卫队在steam(linux Proton GE-Proton10-34)上启动无窗口问题修复
本文记录《Marvel's Guardians of the Galaxy》在 Linux + Steam + Proton 环境下启动后无窗口、Steam 一直显示"运行中"的完整排查与修复过程。
2026-10-06 11:06:42
390
原创 Marvels-Avengers Steam(Proton)初始化失败修复
Marvel’s Avengers在 Steam Proton 下 “Failed to initialize Steam” 的完整排障与修复。
2026-10-06 10:49:53
430
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[0]:总览
在4张 A800上跑DeepSeek-V4-Flash-Vision系列总览
2026-09-22 18:52:50
58
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[5]:排查
在4张A800上跑DeepSeek-V4-Flash-Vision系列[5]:排查
2026-09-22 18:48:03
36
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[12]:复盘(实践收获)
在4张A800上跑DeepSeek-V4-Flash-Vision系列[12]:复盘(实践收获)
2026-09-22 18:43:06
51
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[11]:推理性能
在4张A800上跑DeepSeek-V4-Flash-Vision系列[11]:推理性能
2026-09-22 18:34:08
59
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[10]:空回答、推理重复与“字符损坏“问题修复
在4张A800上跑DeepSeek-V4-Flash-Vision系列[10]:空回答、推理重复与"字符损坏"问题修复
2026-09-22 18:19:59
148
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[9]:视觉链路问题修复
在4张A800上跑DeepSeek-V4-Flash-Vision系列[9]:视觉链路问题修复
2026-09-22 18:10:47
152
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[8]:思考等级与推理内容故障修复
在4张A800上跑DeepSeek-V4-Flash-Vision系列[8]:思考等级与推理内容故障修复
2026-09-22 18:01:35
122
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[7]:工具调用
在4张A800上跑DeepSeek-V4-Flash-Vision系列[7]:工具调用
2026-09-22 17:51:08
305
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[6]:网关与 Responses
在4张A800上跑DeepSeek-V4-Flash-Vision系列[6]:网关与 Responses。
2026-09-22 17:19:35
121
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[4]:容量
在4张A800上跑DeepSeek-V4-Flash-Vision系列[4]:容量
2026-09-22 16:42:47
198
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[3]:部署
在4张A800上跑DeepSeek-V4-Flash-Vision系列[3]:部署
2026-09-22 16:23:03
345
原创 在4张A800上跑DeepSeek-V4-Flash-Vision系列[2]:构建
在4张A800上跑DeepSeek-V4-Flash-Vision系列[2]:构建
2026-09-22 16:12:22
367
MG-SOFT MIB builder and compile
2023-12-06
NavicatPassword Decryp tools.zip
2023-09-10
Raft算法中文动画演示文件
2023-02-23
springboot-09-swagger.zip
2023-01-28
Spring Boot学习之Shiro源码
2023-01-27
【自然语言处理】大模型微调技术综述:参数效率微调方法对比与应用场景分析
2025-05-25
计算机硬件领域:NUC 10散热改装与机箱安装教程及详细步骤
2025-01-25
macOS系统安装最新版JetBrainsIDEs开发软件集火工具(x86芯片+arm芯片).md
2024-12-24
无线局域网络802.11协议详解及其连接建立方法
2024-11-23
内存分配算法及其应用研究 - 伙伴系统算法解析
2024-11-23
数据结构代码题备考:快速排序与图、树的经典题目解析
2024-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅