- 博客(89)
- 收藏
- 关注
RSS订阅原创 audio.cpp 是什么？
audio.cpp是一款基于ggml的跨平台原生C++音频推理框架，支持TTS、ASR、语音克隆、音源分离等多任务，兼容CPU、CUDA、HIP、Vulkan、Metal及Rockchip RKNN NPU，提供CLI与HTTP Server双入口，内嵌WebUI与JSON pipeline工作流。采用GGUF+ModelSpec格式实现模型一体化打包与管理，集成降噪、重采样等DSP工具，具备与Python参考实现一致的推理准确性，适用于本地化、高性能、可移植的音频模型部署场景。
2026-11-08 14:57:09
300
原创 CCORE GLB-3D-Coder：基于 Qwen3.5-4B 的微调实践
CCOREGLB-3D-Coder是基于Qwen3.5-4B全量微调的小型语言模型，通过生成Three.js代码实现3D资产的“代码即资产”工作流，可导出引擎无关的GLB文件。其核心优势在于高可控性、跨引擎兼容性与低资源部署能力。开源3,918个高质量训练样本，支持Q4_K_M至FP16多量化版本，适用于从移动端到桌面端的多样化场景。尽管存在空间变换误差与风格单一等局限，但其在低多边形资产生成上表现优异，为独立开发者提供低成本、高效率的3D内容创作路径。
2026-11-07 20:52:39
338
原创 LLM 提示词缓存（Prompt Caching）的秘密
本报告分析大模型提供商提示词缓存表现差异，揭示缓存率受应用类型（编码智能体vs通用聊天）、提示结构稳定性及架构设计共同影响。编码场景因高上下文复用，缓存命中率显著提升，直接影响成本——如Claude与DeepSeek缓存后成本降低20倍至50倍。关键因素包括前缀稳定性、会话超时、负载均衡策略及动态内容位置。建议监控每轮缓存比例、固定前缀、控制空闲时间，并考虑本地部署以优化成本。未来缓存效率将成为智能体应用的核心竞争力。
2026-11-05 15:44:01
857
原创 10M 上下文 时代的计算革命：潜稀疏注意力如何让长文本推理暴涨 70 倍
潜在稀疏注意力（LSA）针对超长上下文下的“索引器瓶颈”，提出在潜空间中通过层次聚类压缩键信息，实现亚二次复杂度的高效检索。其变体D-LSA与N-LSA支持蒸馏升级与原生训练，显著提升10M Token场景下预训练与解码速度（最高72.4×），显存仅需246MiB，且准确率与全注意力相当，为大模型处理亿级文本提供高效可行方案。
2026-11-04 16:15:25
713
原创 什么是定性表征
定性表征将连续复杂的物理现象转化为离散符号，实现人类常识推理。其核心特征包括符号化、上下文依赖与低数据依赖性。广泛应用于数量、空间与时间表征，如数量空间、RCC-8模型与艾伦时间代数。相比深度学习的高数据需求与黑箱特性，定性表征具可解释性与鲁棒性。现代具身智能趋向“定性-定量混合”，结合感知与推理，推动AI向更智能、可靠方向发展。
2026-11-04 14:22:02
423
原创 Markdown技能文件：AI智能体被劫持的新后门
本文揭示了智能体框架中Markdown技能文件（SkillFiles）作为越狱攻击传播通道的严重安全隐患。通过在技能文件中注入结合角色操控与GPTFuzzer的恶意载荷，攻击成功率从基线0.5%飙升至45%，最高达68.9%。零宽字符与图音转换混淆策略未提升效果，甚至降低部分模型攻击成功率。研究证实，模型本身对配置型越狱的敏感度差异显著（相差五倍），且该风险源于配置层间接提示注入机制，凸显智能体系统在安全配置管理上的薄弱环节。
2026-11-02 16:51:41
84
原创 大模型科研突破：闭源下极少，联网多靠检索
本文提出OpenFrontiers，一个包含12,151个跨学科开放问题的语料库及200个数学基准测试（OpenFrontiers-Bench），涵盖已解决与未解决问题，均经Lean4形式化验证。在隔离沙盒中评估7个LLM智能体发现已解问题的能力，结果显示：闭源条件下仅7/40成功，联网依赖检索已有解法，缺乏真正原创推理能力。研究揭示当前大模型在科研级原创突破上的局限，为科学发现评估提供严谨、防污染的标准化框架。
2026-11-02 16:40:57
144
原创 解耦模型与框架：TraceTrial-Bench揭示AI Agent可靠性真相
本文提出TraceTrial-Bench，首个面向智能体框架可靠性的机制解耦基准，涵盖上下文、执行、治理等七维度，通过轨迹追踪与多源证据评估4框架、9模型、3,420次运行。结果显示，框架宏观得分差异达12.2个百分点，31.1%任务成功但框架失败，揭示仅看结果的局限性。故障归因机制有效定位失效路径，强调框架可靠性对智能体性能的关键影响，为可审计评估提供新范式。
2026-11-02 08:40:46
251
原创 前沿代码代理发现的Bug与人类维护者截然不同
本文提出PROBE基准，评估前沿代码代理在主动发现仓库级Bug的能力。基于20个GitHub仓库的2,457个真实修复Bug，测试显示所有模型召回率低于21%，精确率不足9%。尽管增强推理提升召回率，但精确率未改善。85%未匹配发现经验证为真实缺陷，表明代理更关注局部错误，而人类维护者侧重输入处理问题。结果揭示代理在理解“关键Bug”语义上的局限，为评估提供新视角。
2026-11-01 20:16:22
277
原创 低轨卫星AI：从分布式训练到星上大模型适配的系统性综述
随着低地球轨道（LEO）巨型星座的扩张及新兴全球服务对实时性的需求，卫星网络正从传统的弯曲管道中继向智能星上处理转型。这一转变面临核心张力：现代人工智能（AI）范式需要高强度计算、海量内存和稳定连接，而LEO卫星受限于严苛的尺寸、重量和功耗（SWaP）、动态拓扑及间歇性链路。本文是首篇联合涵盖分布式训练、协同推理及大语言模型（LLM）适配的综述。文章首先剖析了星上部署面临的刚性资源约束、高动态拓扑及间歇性能源供给三大挑战，并提出了资源感知任务解耦、拓扑弹性编排及能量感知调度三大设计原则。
2026-11-01 16:45:51
132
原创 大模型为何“甩锅”？反事实训练重塑自我归因能力
本文揭示前沿语言模型普遍缺乏忠实的自我归因能力，难以准确标识回答所依赖的外部信息。传统推理监督无法解决最终答案的归因失效问题。为此，提出CREDIT方法——通过反事实标签监督最终答案，无需人工标注即可显著提升模型在用户建议、检索段落等多类信息上的自我归因准确性，平衡准确率从0.49-0.80提升至0.85-0.90，并展现一定泛化能力。研究强调，仅依赖推理过程监督不可靠，而直接对输出进行反事实训练是实现可解释性与问责制的关键路径。
2026-11-01 16:30:39
444
原创 CVE-2026-98432 漏洞详解
CVE-2026-98432是Linux内核IPv4 TCP协议栈中一个严重程度达9.8的释放后使用（UAF）竞态漏洞，源于4.4版本引入的优化机制缺陷。在三次握手过程中，未对IP选项指针进行深拷贝，导致并发访问时出现内存释放后重用。攻击者可利用该漏洞构造高并发请求，实现信息泄露与远程代码执行（RCE），甚至绕过KASLR。修复版本已发布于5.10.272及以上各主线分支。临时缓解措施包括禁用MPTCP、过滤含选项的SYN报文及关闭相关监听。
2026-10-30 15:38:08
1694
原创 DKMS是什么
（Dynamic Kernel Module Support，动态内核模块支持）是由戴尔（Dell）公司开发并已成为 Linux 生态标准的一个开源框架，用于在 Linux 操作系统升级内核时，自动重新编译和安装第三方内核模块（如硬件驱动程序）。它可以被理解为一个“自动化的内核模块源码管理器”。
2026-10-30 11:09:03
183
原创 Megakernel（巨型内核）是什么
在 CUDA 编程中，是指。传统 CUDA 编程通常采用“流式管道”模式：一个任务被拆分为多个小 Kernel（如：清洗数据 → 矩阵乘法 → 激活函数），在 CPU 端依次调度启动。而 Megakernel 则反其道而行之，把所有这些逻辑全部塞进一个 Kernel 里，通过线程内部的条件分支（if-else或）或者状态机来决定每个线程或线程块（Thread Block）到底执行哪一部分功能。
2026-10-29 08:43:22
280
原创 BizBench：揭示长程Agent在真实商业部署中的隐性陷阱
BizBench是一个基于真实支付流程的多轮基准测试，涵盖789份文档与601个工具，评估智能体在资源约束、时间依赖等复杂商业场景中的执行有效性。结果显示，尽管前沿模型如Claude Opus 5和GPT-6Sol目标达成率超60%，但严格成功率仅64.0%和61.3%，揭示其存在中间违规问题；小模型（如Qwen3.8-27B）表现更差，严格成功率仅为32.7%。此外，模型普遍存在冗余调用，DeepSeek-V4.1-Flash平均调用191.3次，比参考路径多70%。研究强调：最终成功≠有效执行，合规性需
2026-10-26 10:01:27
303
原创 GPT-6-Astra具身智能实测：跨越能力阈值，未达实用智能
GPT-6-Astra在具身智能基准测试中表现卓越，RoboDojo与DexJoCo成功率分别达81.9%和87.3%，展现强大零样本泛化与失败恢复能力。虽高层推理与底层控制闭环提升性能，但成本高昂；真实部署受物理约束与高演示数据成本限制，延迟占运行时间超88%。研究提出下一代具身基准应基于真实需求、禁用领域演示、持续世界时钟，以推动实用具身智能发展。
2026-10-26 09:33:37
215
原创 大模型推理延迟与吞吐量优化指南
本文深入解析大语言模型推理的核心性能指标与优化策略，聚焦延迟（Latency）、吞吐量（Throughput）及首字延迟（TTFT），揭示预填充与解码阶段的性能瓶颈。文章系统梳理了量化、KV缓存、投机解码、连续批处理等加速技术，并强调软硬件协同设计在提升推理效率中的关键作用。面对测试时计算需求增长，开发者需在延迟、吞吐量与成本间权衡，构建高效、可扩展的AI服务系统。
2026-10-25 17:04:41
333
原创 10篇Looped Transformer论文：重用层结构的潜力
本文系统综述了十项前沿研究，揭示循环Transformer（LoopedTransformers）通过复用同一网络层实现多次迭代计算，在不显著增加参数量的前提下提升模型深度与性能。该架构在语言推理、图像生成、音频处理及多智能体协作中展现出广泛应用潜力，如LPT共享记忆、LiFT流匹配生成、RecursiveMAS多智能体协同等。研究强调，高效迭代需平衡计算成本与状态稳定性，避免“过度思考”问题。尽管循环机制提升效率，但其有效性依赖于对隐藏表示的精准控制。文章为构建高效、可扩展的AI系统提供了新范式。
2026-10-25 13:28:59
193
原创 WebGPU是什么？
WebGPU 是下一代 Web 端底层图形与通用计算 API，由 W3C GPU for the Web 工作组（包括 Apple、Google、Mozilla、Microsoft 等）联合制定。它的目标并非简单升级 WebGL，而是彻底重塑 Web 端与现代 GPU 硬件交互的范式。
2026-10-25 13:24:44
281
原创 RSI的如何改进智能体的策略
AI智能体虽能持续迭代优化结果，却鲜少反思底层策略，陷入“执行”层面的局部优化循环。清华大学等研究揭示，其核心瓶颈在于缺乏自主重构策略的能力，难以实现递归自改进（RSI）。为此，Metaⁿ通过递归叠加元层增强策略审视，Recuris则构建外部记忆系统以进化经验验证机制。突破此局限，是推动AI从被动执行向主动创新跃迁的关键。
2026-10-24 13:48:42
203
原创 RSI（递归自我改进）的实现方法
2026年综述揭示，当前人工智能在递归自我改进（RSI）领域虽涌现九种前沿系统，分别聚焦策略、记忆、技能、代码脚手架与评估器等环节，但均局限于有界组件优化，尚未实现全链路闭环进化。这些研究勾勒出通往通用自主智能的拼图地图，凸显从局部改进到真正自我迭代之间仍存巨大鸿沟。
2026-10-24 13:11:51
289
原创 递归自我改进（RSI）是什么
递归自我改进（RSI）指AI系统参与并优化自身研发流程，核心在于自动化研究闭环——从提出想法、实验到迭代模型。当前仍处早期，主要体现为代码生成、训练加速与基准测试自动化，而非完全自主构建基础模型。虽未达“AI构建AI”终极形态，但Anthropic、Recursive与SakanaAI等机构已展现其潜力：通过提升研发效率、降低算力依赖，加速科学进步。然而，评估偏差、奖励黑客与监督缺失风险需警惕。RSI非二元能力，而是一条渐进光谱，未来将重塑人类在AI创新中的角色。
2026-10-24 12:49:49
314
原创 CoPE：让智能体在“行动”与“预测”中协同进化
本文提出CoPE方法，通过引入多步动作目标（Multi-step Action Targets），实现语言智能体在长视距任务中对中间监督信号的高效利用。CoPE使策略网络在训练时协同生成未来动作序列，形成时间集成，推动行动与预测的协同进化。推理阶段仍单步执行，无额外开销。无需世界模型或预训练，仅共享单一策略主干，显著降低计算成本。在五个基准测试中，CoPE性能优于GRPO、ECHO等基线，样本效率提升最高达2.0倍，训练时间仅增11%，端到端效率提升9%。
2026-10-21 20:38:08
266
原创 Doc2Harness：评估大模型构建Agent运行框架能力的确定性基准
Doc2Harness是首个针对大语言模型构建长周期Agent运行框架能力的确定性基准，通过两阶段设计（隔离构建与黑盒评估）有效排除参数化知识干扰，并引入阳性对照防止“无效通过”。在19个前沿模型测试中，最强模型GPT-6Astra仅达53.05%通过率，失败多因跨模块功能划分不合理，凸显当前LLM在运行框架工程上的显著短板。
2026-10-21 16:22:31
508
原创 ds4 (DwarfStar )是什么？
ds4是一款专为DeepSeekV4/GLM5.2设计的高性能本地推理引擎，基于纯C实现，支持Metal/CUDA/ROCm加速与SSD流式加载，突破内存限制，实现1M token超长上下文。具备磁盘即缓存、专家流式加载、端到端会话持久化及OpenAI兼容接口，适用于高端个人硬件上的高效推理与工具调用型AI助手。非通用框架，专注特定模型优化。
2026-10-20 10:52:03
480
原创 记忆好不等于懂共识：个人智能体为何常擅自执行未确认指令
本文揭示个人智能体长期记忆系统忽视“共同基础”（CommonGround）的缺陷，提出“扎根意识”（GroundingAwareness）概念，指出现有模型虽具强大记忆能力，却难以区分用户已接受、忽略或修改的提议。研究构建160场景基准，发现信息过载与持久记忆反而加剧错误执行。为此提出无需训练的“扎根层”（GroundingLayer），通过显式追踪状态与验证行动范围，在不修改模型前提下显著提升决策准确性，使适当行动准确率达0.81–0.85，有效解决记忆流水线中的状态丢失与上下文混淆问题。
2026-10-18 17:43:10
199
原创 whisper.cpp 与 audio.cpp
如果你的需求只是把语音转成文字（或做流式语音识别、字幕生成、端侧离线 ASR），首选，它的生态最成熟、优化最深、平台覆盖最广。如果你需要链式处理——例如：不仅要转文字，还要做音源分离、TTS 语音合成、甚至声纹/音色转换等复杂多模型工作流，选audio.cpp可以省去胶水代码的编写。
2026-10-18 14:23:14
132
原创 audio.cpp：高性能音频推理框架
audio.cpp 是基于 ggml 的高性能跨平台 C++ 音频推理框架，支持 TTS、ASR、语音克隆、分离、生成等 10 类任务，兼容 CUDA、ROCm、Metal、Vulkan 及 CPU 后端。采用 GGUF 单文件模型格式，集成命令行工具、HTTP 服务与 SvelteKit WebUI，实现端到端生产级部署。具备多任务统一运行时、高吞吐低延迟（较 Python 加速 1.8x–8x）、模块化组件库与社区模型支持，适用于本地化、私有化、低延迟音频 AI 推理场景。
2026-10-18 13:55:36
316
原创 连续与离散的交响：解构大语言模型“隐式思考”与“显式交互”的双流机制
混合推理智能体（HybridAgents）通过整合连续隐空间推理与文本驱动交互，打破了传统语言模型在内外部处理上的媒介界限。该架构借助轻量级HybridLink适配器与持续工作内存，实现了多轮生成中隐状态与离散文本之间的无缝动态切换。通过专门设计的混合监督微调（HybridSFT）与混合强化学习（HybridRL）训练算法，该系统能够自主协调内部快速思考与外部工具调用。多项基准测试表明，这种创新方法在保持良好可解释性和工具交互能力的同时，显著提升了模型性能并降低了计算成本。
2026-10-16 11:25:48
498
原创 Harness^2：递归自进化智能体Harnessing框架
Harness^2提出一种递归自进化智能体框架，通过任务级与操控级双层递归机制，在无真实标签的开放环境中实现大模型智能体的持续自我优化。其“提出-探测-组合”策略无需依赖固定验证器，可并行或顺序扩展以提升当前任务表现；任务完成后，经验自动沉淀至持续改进库，实现跨任务泛化与能力累积。实证表明，该框架在三大专业基准上显著超越基线，仅需单步改进即大幅提升性能，且弱模型经优化后可超越强模型，展现出卓越的自适应性与算力-性能帕累托前沿优势。
2026-10-15 15:47:33
1195
原创 如何判断 Agent/LLM 的改动是否真的带来了提升
评估 Agent/LLM 改进时，不要看单次输出，而要看重复运行后的统计结果、真实回归案例、执行轨迹和业务指标；重点是不被随机性和主观感觉误导。
2026-10-14 21:32:45
408
原创 Strata如何部署GLM-5.3-Flash？Project Maya
ProjectMaya是一款开源本地大模型推理加速项目，专为3210亿参数的GLM-5.3-Flash MoE模型定制。通过显存-内存-固态三级动态调度、自研高精度量化（如Maya-M/L）、全兼容API与并发支持，实现消费级GPU上高效私密运行。支持多模态、投机采样加速与实时监控，具备开箱即用体验，适用于个人研究、代码助手、多Agent协同及高隐私行业场景。
2026-10-13 15:09:32
910
原创 BitNet (bitnet.cpp) ：微软的高性能推理框架
BitNet.cpp是微软推出的1-bit大模型推理框架，基于llama.cpp优化，支持BitNet-b1.58系列（2B~100B）及Embedding模型。通过I2_S与TL1量化技术，实现CPU/GPU/NPU多架构高效推理，x86/ARM上加速达6.17x/5.07x，能耗降低最高82.2%。原生支持嵌入式检索与实时语音识别（VibeASR.cpp），可在单核CPU流畅运行百亿参数模型，显著降低边缘部署门槛，推动绿色计算与本地化私有化应用。
2026-10-13 09:24:38
245
原创 AI越聪明，人类越忙？被忽视的“验证税”正在吞噬效率
AI 虽然提高了内容生成速度，但同时创造了一种新的人工成本，即“验证税（Verification Tax）”。员工需要花大量时间检查、纠正和确认 AI 的输出是否准确，从而抵消部分生产力收益。
2026-10-12 10:43:13
129
原创 REA:开源逆向神器
REA（ReverseEngineerAnything）是一款基于MCP协议的开源逆向工程工具，支持对二进制文件、Web应用、Android APK等多形态目标进行静态与动态分析。通过集成ClaudeCode、Cursor等AIAgent，用户可自然语言提问，实现端到端的功能复现与代码重建。核心优势包括本地化隐私保护、证据驱动的可解释性分析、广泛格式支持及高社区热度（近90k Stars），适用于AI辅助开发、安全研究、跨平台调试与教育场景。
2026-10-12 10:01:04
629
原创 什么是bpw（bits-per-weight）
bpw（bits-per-weight）是衡量大模型量化压缩与精度的核心指标，突破传统整数位宽限制，实现非整数平均位宽（如2.5625bpw）。通过分块、混合精度分配与元数据共享，bpw量化（如GGUF、IQ）按权重敏感度动态分配位宽，显著降低显存占用。例如70B模型在2.25bpw下仅需19.69GB显存，可运行于单张4090。相比均匀量化，bpw在相同比特数下更优，实现显存利用率与推理精度的精准平衡，成为本地部署的理想选择。
2026-10-10 15:30:51
346
原创 Strata 推理引擎目前的挑战
Strata 的核心优势在于极高的推理速度（尤其是单卡和高负载下的吞吐量），但其主要弱点在于低比特量化下的长期稳定性和缓存机制的效率。它更适合对速度要求高、能容忍少量幻觉或愿意精细调参的场景，而在需要高精度指令遵循的复杂智能体任务中，可能不如更高精度的模型Qwen3.8 27B或经过优化的 ExllamaV3 和 llama.cpp稳定。
2026-10-09 10:35:16
576
原创 微软确认 GPT‑6 使用 Looped Transformers
微软确认GPT-6采用LoopedTransformers，通过重复执行同一Transformer层提升推理深度，实现更高效计算且不增加显存。该技术虽能增强模型性能，尤其对本地小模型意义重大，但引发安全争议——隐藏推理使思维链不可读，削弱可解释性与审计能力。社区担忧其可能加剧模型越界风险，而微软删除相关页面更添神秘。一句话总结：LoopedTransformers是性能利器，却以牺牲透明性为代价，引发开源社区激烈争论。
2026-10-07 19:28:11
249
原创 哪种本地模型+harness是本地最强组合？
本地推理性能已可匹敌甚至超越ClaudeCode，关键在于harness选择而非模型本身。Opencode与OMP为最稳定方案，Qwen3.8FlashNext+Strata速度领先，swift-1.5-qwen3.8-27B-Q6_K在单卡5090上表现最稳健。测试显示同一模型不同harness得分差异可达22%-96%，Harness显著影响真实能力发挥。推荐：可靠性优先选swift+opencode/omp，速度优先选Qwen3.8FlashNext+strata+opencode。
2026-10-07 07:16:15
1109
原创 Strata 支持什么显卡？
Strata支持NVIDIA（RTX 20/30/40/50系，Compute Capability≥7.5）与AMD（gfx1100/gfx1200等）消费级显卡，要求显存12GB以上（NVIDIA 8GB可运行但较慢），不支持Intel核显及旧架构。多卡同厂商部署需满足硬件条件，仅Linux支持AMD多卡。需32GB+内存、80GB+磁盘、AVX2 CPU及Win10/11或Linux系统。
2026-10-06 16:59:47
512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人