木圭的AI时代指南-CSDN博客

原创 Strata、Project Maya、PolyStrata 和那一堆 fork 到底在做

本文梳理 Strata 及其衍生生态在 10 月 25 日前的公开情报：上游 Strata 以 CPU 分担路线让消费级显卡跑起 125B 的 MoE 模型，随后 PolyStrata、Project Maya、basalt 等分叉在不到两小时内相继开仓，16 个有存在感的 fork 则集中在硬件适配。文章归纳出 CPU 分担、统一内存、SSD 流式、单卡压缩、通用主线五条技术路线。

2026-10-25 23:27:41 211

原创几何没硬伤，清单全兑现：Kimi K3.1 Pro的3D实测

本文实测 Kimi K3.1 Pro 的 3D 创作能力：一道逻辑题看智商，一道 3D 建城题看落地。它用不到 10 分钟、一次对话交出一座能跑能逛、几何无硬伤的漕运水巷，1040 行单文件 HTML，不依赖任何外部模型和贴图，四个机位、三套天气、点击交互逐条兑现，长程约束全程不漂移。短板在镜头与美术比例，不在模型本身。工程分 85，审美分 60。该建对的都建对了，剩下那层交给人来调。

2026-10-24 09:40:32 496

原创程序员节送大家一份实测活动清单

1024程序员节快乐！给大家送上一份AI活动清单

2026-10-24 08:45:00 632

原创想用AI一个人做游戏？我把5大顶流开源项目都拆了一遍

本文围绕“用 AI 做游戏”这一目标，拆解了 GitHub 上热度较高的 5 个方案：Claude Code Game Studios、Godogen、OhMyGame、ref2game 以及引擎原生 MCP 方案。

2026-10-23 21:53:42 116

原创实测 MiniMax M3.1 Flash：同一道 Three.js 大题，两个 agent 差出 4.6 倍

M3.1 Flash（10-19 发布，Space Bunny 正身）全网都在对轰跑分、算缓存账。我做了件没人做的对照：把同一颗 M3.1 Flash 装进 MiniMax 官方 Agent 和 OpenCode CLI，考同一道 Three.js 单文件体素城市大题（30+ 硬性条款），再用同一套 Playwright 无头脚本统一验收。

2026-10-20 23:24:15 438

原创本地部署模型选型决策卡：稠密与 MoE 的尺寸换算、权重体积对照与硬件档位推荐

本地部署大模型，先算带宽再算容量——生成速度 ≈ 内存带宽 ÷ 权重体积。稠密与 MoE 不能按参数量横向比：MoE 的总参数决定内存占用、激活参数决定算力负担，激活比例被行业卡在 5% 附近。实测 125B MoE（IQ2_XS，68GB）在 8G 显存 + 64G 内存上跑 18.2 t/s，而 32B 稠密 Q4 连 8G 显存都装不进。量化只压体积、压不掉带宽需求，也改变不了设备级别；选统一内存设备时，带宽参数比容量更值得看。文章附硬件档位推荐表、三个模型权重体积对照与每 GB 内存单价参考。

2026-10-19 10:42:46 504

原创 DeepSeek V4.1-Flash-1017 实测：同一句提示词，三个 Agent 环境一轮交付，成本 1.52 元

本文以一句提示词「用 Three.js 写一个带昼夜切换效果的简易 3D 地球模型」，在 DSH、Codex、WorkBuddy 三个 Agent 环境各跑一轮，对比交付时间、产物质量与真实成本。结果显示三个环境均一次交付可运行产物，其中 WorkBuddy 耗时最长但完成多轮视觉 QA 与 bug 修复；Codex 与 DSH 合计成本 1.52 元，WorkBuddy 为 5.94 积分。

2026-10-18 13:57:06 510

原创 Nemotron 3.5 Bolt 74B-A9B 调优实录：RTX 3070 8GB 从 11 t/s 调到 44，128K 上下文也装得下

英伟达把 Bolt 74B-A9B 压进 24GB，本文记录它在 8GB 显存显卡上的完整调优过程。包含 llama.cpp 版本门槛（b11617 加载失败的真实原因）、四组单变量测试、`--n-cpu-moe` 的反直觉拐点（32 反而比 128 慢 3 倍）、投机解码在什么条件下会倒亏、上下文一路拉到 131072 的实测数据，以及混合架构 KV 开销的逐层拆解。全程硬件未动，每一步收益都来自参数。

2026-10-17 10:05:35 782

原创 MiniCPM-V 4.7 35B-A3B 本地部署实录：RTX 3070 8GB 显存跑多模态，36 token/s

19.7GiB 的模型文件跑在 8GB 显存的 RTX 3070 上，本文给出完整启动参数、三组性能实测（纯文字 / 看图 / 1B 对照）、显卡负载对比，以及 llama.cpp 版本、mlock 加载、视频输入三个坑。核心结论：35B 能跑，但瓶颈不在显卡在内存带宽。

2026-10-16 10:59:10 484

原创 Nemotron 3.5 Bolt 74B-A9B 开源：74B 压进 24GB 的 2-bit 方案、Nemotron 3.5 家族谱系与本地部署待实测清单

英伟达 10 月 15 日开源 Nemotron 3.5 Bolt 74B-A9B，74B 总参数 / 9B 激活的 MoE，2-bit 量化 + 量化感知训练压进 24GB。llama.cpp、vLLM、Ollama、Unsloth、LM Studio 首发支持，Hermes、OpenClaw 可直接调用。所有性能数据为英伟达单方口径，发布时无独立第三方测试。本文只做规格拆解与部署账目核算，不做性能结论。

2026-10-15 13:02:20 564 1

原创 Qwen3.8-125B 调优实录：21 档配置试下来，有效的只有两招

本文记录了在 8G 显存、64G 内存的机器上对 Qwen3.8-Flash-Next 125B（IQ2_XS 量化）进行 21 档配置调优的完整过程。实测结论是：真正有效的只有两招——-ncmoe 44 配合 int8 KV（decode 从 14.56 提升到 18.22 t/s，+25%），以及 -t 24 拉满超线程（+21%）。官方新特性专家缓存（--moe-cache-mib）在 8G 卡上是负优化，显存过满同样会导致退化，免模型投机解码在本机无效。

2026-10-13 10:59:28 469

原创 MoE 引擎选型实测：35B 别换引擎，125B 才值得，一条分界线讲清专用引擎的价值

本文基于 8G 显存 + 64G 内存的实测环境，对比 llama.cpp 与新一代 MoE 专用推理引擎（Strata、colibri、Project Maya）在 35B 与 125B 两个档位的真实速度差距。核心结论是：专家池能装进内存时换引擎是白换，125B 级才拉开约 2.5 倍差距；分界线在于专家池是否超出内存。文章同时给出原理层解释（每 token 搬运量决定速度）、llama.cpp 侧的两条实测教训（别手动切分、小显存关专家缓存），以及可复用的判断表和场景速查。

2026-10-12 09:36:05 698

原创本地部署功耗实测：RTX 3070 跑 125B MoE，整机 136W、月电费 19.6 元的完整账本

本文通过读取芯片自身遥测（nvidia-smi 与 LibreHardwareMonitor），实测了 125B MoE 模型在 8G 显存小卡上的四阶段功耗：逐字生成时显卡仅 45.9W、CPU 封装顶满 90W，整机约 136W，每天 8 小时月电费约 19.6 元。核心结论是功耗大头取决于权重搬运位置——9B 稠密纯 GPU 解码 219.5W 顶满，8B MoE 仅 96W，每 token 能耗差 8.8 倍；大模型 + 小显存的 MoE 方案反而更省电。

2026-10-11 17:42:55 744

原创 EmbeddingGemma 2 图片检索实测：3 款多模态向量模型在无显卡 Ubuntu 上的完整账本

本文在无显卡的 Ubuntu 24.04 小主机上，对 EmbeddingGemma 2、Qwen3-VL-Embedding-2B、WeMM-Embedding-2B 三款多模态向量模型做了同卷图片检索实测。结果显示三款模型全部可跑通，Hit@1 集中在 12~13/15：Qwen3-VL 以 13/15 占先且图表类检索全中，EmbeddingGemma 2 以 3.1GB 内存增量与 19.2s/张的编码速度成为资源紧张场景的首选。

2026-10-10 10:00:00 363

原创 5 款向量模型同卷实测：EmbeddingGemma 2 追平 Qwen3，显存差 11 倍，图片输入全军覆

本文用同一张考卷实测 5 款向量模型在中文知识库检索上的表现：纯文本场景下，谷歌 EmbeddingGemma 2 以 54.2 块/s 吞吐和 17.2ms 延迟拿下速度王座，Hit@1 与 Qwen3-Embedding 系列打平；显存方面 BGE-M3 仅需 495MB，是 EmbGemma-2 的一半不到。文章还记录了 4 个运行时坑位（pooling 元数据为空、多模态输入在 llama.cpp 上不可用、个别块稳定 500、构建号与日期无对应关系），并实测了 MRL 截断对检索质量的影响。

2026-10-09 11:13:26 540

原创支持国产和离开ZCode不冲突：我的替换方案

本文围绕 ZCode 数据出境风波展开，先交代作者立场，再拆解 ZCode 的公开资料、开源代码与作者本机日志，梳理事件时间线与三个必须分清的事实；随后重点介绍接盘方案 DSH（DeepSeek Harness）的桌面版、插件/技能/MCP 配置与官方风险提示，最后盘完一波国产开源编程 Agent 的替代方案，并给出作者自己的迁移决定与安全习惯建议。

2026-10-04 15:46:00 386

原创 RTX 3070 8G 实测 Ternary-Bonsai-2-27B：推理预算怎么设 + 上下文悬崖实测数据（附启动命令）

bonsai RTX3070本地实测情况汇总，详见正文。

2026-09-27 18:18:33 655

原创 DeepSeek 新论文：我在防作弊那一节停了很久

AI 会作弊了，还防不太住。这句话是论文自己写的。

2026-09-26 14:33:57 266

原创 AI 大模型开始收“速度税“了：GLM-5.3-FlashX 收 2.5 倍、Claude 收 6 倍、MiMo 收 3 倍，DeepSeek 一分不收

中文社区有测试者统计过：单个任务生成 40 分钟起步，一天跑 4 到 5 个任务，烧掉 699 元会员 40% 的 token 额度，粗算下来 K3 单个任务的订阅成本是 GPT-5.6 Sol 的两倍（这些是社区自测，口径各不同，参考即可）。另一个是社区实测的《传送门》通关：人类玩家 3 小时的游戏，Astra 跑了近 23 小时，触发 3336 次智能体循环，按目录价折算 API 成本约 571 美元（实测走的是 200 美元订阅，账面没花那么多，但烧掉的配额是实打实的）。这就是长考税的本质。

2026-09-25 12:46:41 755

原创 DeepSeek/MiMo 2.6/Step5 思考链实测：都说斩杀线换人了，从输出的角度看，真的是这样吗？

本文基于四家模型在同一道自相矛盾的编程陷阱题上的 12 跑思考全文存档，从思考语言、思考量、思考用时三个维度做全景对照。实测发现：中文思考的模型思考量平均约 3.0 万字符，英文思考平均约 14.5 万，差近 5 倍；长考模型的思考用时方差极大，同一道题成本可差出数倍。结论是，选购推理模型不能只看单价，思考语言和思考时长的方差才是隐藏菜单——便宜但爱长考的模型，做对同一道题，真可能比单价贵一点点的更贵。

2026-09-24 10:08:39 422

原创 DeepSeek V4.1 Flash · Step 5 · MiMo V2.6 Pro/Flash，一套自编考卷，四家官网 chat 各跑三遍

本文用一套 9 道可验算的硬题，对 DeepSeek V4.1 Flash、Step 5、MiMo V2.6 Pro 和 MiMo V2.6 Flash 四款免费档大模型做了同台裸考实测。结论是：答案对错层面四家基本打平，所有翻车事故都集中在同一道矛盾检测题上；真正的差距在速度和稳定性——MiMo 深度惊人但思考动辄十几分钟，DeepSeek 则全程零错误、零崩溃、零等待。作者最终选择无脑 DeepSeek，并指出免费档网页端在深度、速度、稳定三者中顶多给你两样。

2026-09-23 20:09:36 453

原创 Q4_K_M 和 UD-Q4_K_XL 差在哪？我把 GGUF 文件名拆了一遍

GGUF 文件名里的 `Q4_K_M`、`IQ4_XS`、`UD-Q4_K_XL` 只表示配方流派，不代表质量等级。本文拆解 GGUF 量化后缀的命名规则与三代技术演进（Legacy / K-quant / I-quant），用源码公式讲清 `Q4_K_M` 的混合精度配方，附 Llama-3.1-8B 各格式实测位宽表，并覆盖 2026 年新增的 `UD-`/`_XL`、`-imatrix`、FP4 后缀，最后按显存给出选型建议与常见误区清单。

2026-09-23 10:27:38 1189

原创最近很火的Bonsai 2 27B 在8G显卡上真的能跑，也没有想象的那么笨

本文实测了 Bonsai 2 27B 三值量化模型在 RTX 3070 8GB 显卡上的真实表现：64 层全部上卡、显存占用约 6GB、稳态生成速度 38 tok/s。文章解释了 5.9GB 模型仅占 6GB 显存的原因（混合注意力架构），并分别测试了写作、数学和一道开放型代码题，最后给出 8G 卡用户可复现的启动参数与结论。

2026-09-23 10:17:58 1037

原创阿里云栖大会亮出RSI，模型自己训练自己会成为主流

2026 云栖大会首日，阿里云 CEO 吴泳铭将 RSI（递归式自我改进）搬上主论坛，核心是模型开始自己训练自己。

2026-09-22 19:51:35 424

原创 mimo 2.6系列发布，开源“”最强“”是需要加条件的

小米发布并开源 MiMo-V2.6 系列，包含 Pro、Flash 两款原生全模态模型和 Pro-UltraSpeed 极速档，全部采用 MIT 许可。本文不重复通稿，而是聚焦四件事：大模型刷榜的"应试"现象、发布稿中对比对象选择的猫腻、价格是否值得，以及如何零门槛体验。

2026-09-22 10:27:55 1265

原创 Ling-3.0-tiny 长上下文实测：真的可以实现海底捞针

本文在 8G 消费级显卡上对蚂蚁百灵 Ling-3.0-tiny 做了长上下文实测：在最长约 21 万中文字符、13 万 token 的文本里埋入 8 位随机数字，8k 到 128k 四个档位、每个档位 3 轮全部命中，针尖放在 10% / 50% / 90% 三个位置也全部 3/3 命中，没有出现 lost-in-the-middle。

2026-09-22 10:17:40 494

原创 Jev 火了，但真正值得写的是：开源圈用 48 小时证明，这层“快判断“薄得没有护城河

本文围绕 TypeSafe AI 发布的决策模型 Jev 展开，梳理其定位、三种原语与训练方法，并独家盘点 48 小时内涌现的开源复刻项目。文章从差异化视角指出，Jev 的护城河不在接口或架构，而在校准能力与编排层（Harness）；同时结合中国视角，分析国产开源如何把快判断能力搬回本地。最后以杰文斯悖论为线索，冷静评估其行业影响与待证问题。

2026-09-21 10:15:16 623

原创蚂蚁百灵 Ling-3.0-tiny实测：8G显卡可以跑满上下文

本文在 RTX 3070 8G 上实测蚂蚁百灵 Ling-3.0-tiny（BailingMoE3，7.9B 总参 / 1.3B 激活）：Q4、Q5、Q6 三档量化都能跑满 131072 原生上下文，满 128K 的 KV 缓存只花 992 MiB，靠的是 24 层里只有 6 层 MLA 会随上下文增长、其余 18 层 KDA 状态恒定。

2026-09-21 10:08:37 761

原创尘埃落定后聊ZCode的偷传代码风波

本文从开发者视角复盘 ZCode 静默打包上传代码风波。作者作为 ZCode 用户，实测本机 .zcode 目录确实存在加密包，但清单中未发现 .git 历史，如实说明核查边界。文章对比智谱与 Grok Build 的应对方式，指出问题本质在于默认开启、关不掉、私钥在云端三重叠加，并展望 vibecoding 行业在权限边界、数据合规与审计机制上的规范化走向，最后给出开源项目可放心、闭源含密先隔离的使用建议。

2026-09-20 11:15:27 317

原创 Ling-3.0-tiny 是什么：7.9B 的身子 1.3B 的饭量，全网评测我汇总成一张表

本文是蚂蚁百灵 Ling-3.0-tiny 的系列总纲，围绕身份、架构、全网评测与能力边界展开。

2026-09-20 10:51:05 590

原创 MiniCPM5 对上 SparkX25：两个端侧系列差在哪

本文对比了 MiniCPM5 与 SparkX25 两个端侧模型系列在架构、能力量级和量化代价上的差异。实测显示，两者在 4B / 2B 级甜点档能力接近，但 MiniCPM5 更轻更快，2B-Q4 比 SparkX25 的 4B-Q4 快 1.7 倍且显存占用更小；在长上下文方面，SparkX25 标称 1M 但实际卸载到内存后速度塌陷，MiniCPM5 的 128K 则真正可用。选型建议：格式敏感、产出喂下游选 F16，追求速度与批量跑选 Q4；8G 卡本地小模型场景下，MiniCPM5 2B-Q4 开

2026-09-19 10:13:44 645

原创 Spark-X2.5 1M上下文实测：KV cache 位置（显存/内存）对 prefill 与 decode 速度的影响

本文在 8G 消费级显卡（RTX 3070）上实测 Spark-X2.5 的 4B 与 1.7B 模型开启 1M 上下文时的真实代价。结果显示：KV 缓存需要 34.3 GB，远超 8 GB 显存，直接开启必然 OOM；强行把 KV 卸载到内存后虽能运行，但长上下文生成速度从 74 t/s 塌到 9 t/s（约 1/8）。

2026-09-18 10:09:53 538

原创 minicpm5系列的128K上下文是怎么回事？在本地能落地吗？

MiniCPM5以仅2个KV记忆头实现端侧128K上下文，实测可稳定处理约12.3万token，显存占用控制在8G内。核心优势在于极简记忆结构，避免KVcache爆炸。实测中发现中文token估算偏差、预填充速度慢（F16比Q4慢近7倍）等隐藏坑点，提醒警惕“标称1M”与“原生128K”实际可用性的差异，长上下文真用需重估精度与效率。

2026-09-17 11:28:48 354

原创讯飞星火X2.5系列大对比：本地、云端、期间API横评实测原创

本文用同一套 53 题，只改变部署方式和精度，实测了本地小模型、云端免费档与 293B 旗舰的差距。核心结论有三条：一是本地 Q4 量化与云端同尺寸满血只差 2 题，量化代价真实但很小，日常"读文档、写结果"类任务本地够用；二是旗舰 293B 虽居首（多数决 41/53），但 70 倍参数只换来约 4% 的提升，4B 档已吃掉大部分能力；三是旗舰真正的"断崖优势"在于思考预算管理，53 题只被截断 1 题，而小模型动辄 9~14 题，因此用思考模式务必留足输出预算或直接关掉思考。

2026-09-17 11:08:08 884

原创 minicpm5系列测试之噪声地板法

本文用 MiniCPM5 跑了 54 轮实验，验证一个常见直觉——把 AI 长任务的单次超时从 300 秒拉到 900 秒能否提升通过率。结果打脸：超时翻 3 倍，过的题反而从 11 掉回 9，机时却接近翻倍、工具调用多了 3 倍多。通过对照组设计，作者指出 300~900 秒区间内超时根本不是分数的影响因素，波动来自随机噪声；真正要区分的是模型"不会"和"慢"两类问题，评估长任务能力应先问"会不会收敛"，而不是一味加超时。

2026-09-16 11:04:39 220

原创星火 X2.5 到底是个什么模型？

本文是星火 X2.5 能力实测系列的第 10 期，补上早该做的一件事——说清楚 X2.5 到底是什么。文章先厘清 X2.5 家族三个成员（旗舰 293B、4B、1.7B）的定位差异，再逐条对照官方宣称的能力与作者在 8G 消费级显卡上的实测结果。核心结论是：4B-Q4 是能"动手干活"的主力，适合多步自动化、基础代码和数据处理；1.7B-Q4 是能"说话"的那一款，写作和快速摘要更顺更快；而"1M 上下文"在 8G 显卡上"能开不能用"。官方数据均为自报，未经第三方复测，智能家居与机器人场景作者未做判断。

2026-09-16 10:50:44 591

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

oracle-nc数据库初始化脚本

oracle 数据库安装指导手册

NC导入工具

CPU-Z工具，检查硬件信息

空空如也