程序猿编码-CSDN博客

原创 GGUF + CUDA + KV Cache，大模型推理三件套一次讲清

本文介绍一个纯C++实现的GPT-2推理引擎，基于ggml张量库与GGUF格式，不依赖外部框架。项目核心代码约5000行，涵盖权重加载、CUDA加速、KV Cache优化及采样生成等关键环节，完整实现从文本输入到自回归输出的推理链路。通过解析GGUF二进制格式，利用ggml计算图与后端抽象，实现跨平台部署，适用于嵌入式、移动端等对性能与可控性要求高的场景，兼具学习价值与工程实用性。

2026-10-11 09:17:36 118

原创拒绝 PyTorch！纯 C++ 从零手撸一个 Transformer 推理引擎

本项目以纯C++实现GPT-2（124M）推理引擎，不依赖任何深度学习框架，仅用标准库与自研Tensor类、Transformer架构及BPE分词器，完成文本生成。通过ONNX格式加载权重，聚焦核心逻辑：自回归生成、逐层前向传播与贪婪解码。刻意省略KV Cache、GPU加速等优化，突出代码可读性与教学价值。模块化设计清晰，涵盖嵌入、注意力、残差连接与Softmax输出，完整呈现Transformer推理全流程，展现底层原理与工程实现的深度融合。

2026-10-11 08:55:07 351

原创一个头文件装下整个神经网络：C 语言从零手写多层感知机与反向传播

这是一个纯C/C++实现的轻量级神经网络库，核心为单头文件的多层感知机（MLP），支持前向传播、反向传播、Adam/SGD优化器、Xavier/He初始化、Dropout与L2正则化，具备跨平台确定性与裸机可移植性。其设计遵循“stb风格”，零依赖、无链接开销，配套符号回归引擎基于遗传规划自动发现数学公式。代码简洁可读，涵盖现代深度学习关键组件，适用于嵌入式、教学与科研场景。

2026-10-09 22:29:11 290

原创榨干 RTX5090 算力！Qwen3 专用单卡推理引擎，手写C++/CUDA 算子实现 MTP 推测解码

本项目为高性能单GPU推理引擎，专为Blackwell架构优化，采用C++20+CUDA从零开发，聚焦Qwen系列模型的极致性能。通过定制化工件格式（V3）、NVFP4原生支持、MTP/DFlash推测解码、分层KV缓存与Chunked Prefill等技术，实现低延迟、高吞吐推理。引擎仅支持指定模型与硬件，权重全程驻留显存，最大并发8路，提供CLI与OpenAI/Anthropic兼容接口，适用于长文本、多模态场景，显著超越通用引擎在单卡上的性能表现。

2026-10-09 21:45:43 328

原创一套 C++ 代码搞定 YOLO 检测与分割：ONNX Runtime Windows 端部署全流程

本文介绍一个纯C++实现的YOLOv5/v8推理框架，支持ONNX Runtime与OpenCV DNN后端，统一使用ONNX模型格式，无需Python或PyTorch依赖。针对工业部署痛点，解决实时性差、依赖臃肿、跨平台难等问题。核心包括：自动识别YOLOv5/v8输出结构、LetterBox预处理（保持宽高比）、坐标解码与NMS后处理，并完整实现实例分割掩码生成，显著降低部署门槛，适用于嵌入式设备与高性能服务端场景。

2026-10-08 22:47:24 146

原创不用PyTorch不靠框架：纯C++手写GPT-2注意力机制，支持CPU/GPU双后端

该项目用纯C++从零实现GPT-2推理引擎，不依赖PyTorch等框架，仅通过C++标准库与可选的Accelerate/CUDA加速，完整复现模型架构、权重加载、自回归生成与采样逻辑。核心亮点包括：模板化双内存张量类、轻量BLAS算子优化、CUDA自定义内核及裸float32权重转换。项目以极简结构揭示大模型底层计算机制，帮助开发者深入理解注意力、残差连接、位置编码等关键组件的实现原理，是学习模型推理与性能优化的绝佳实践。

2026-10-06 17:54:18 347

原创从HuggingFace到裸机C代码：一行行拆解大模型推理的底层逻辑

该项目用纯C语言从零实现GPT-2推理，不依赖任何框架或库，仅通过标准库与math.h完成模型加载、注意力计算与自回归生成。核心代码仅一个C文件，配合两个Python脚本导出权重与调试。通过裸二进制加载浮点权重，逐层解析嵌入、多头注意力、残差连接与Tied Embedding等结构，完整展现模型内部运作机制。目标是将大语言模型从“黑盒”变为“白盒”，帮助开发者深入理解推理流程与数值细节，适用于学习、优化与部署研究。

2026-10-06 13:41:48 195

原创纯 C++ 实现 Transformer 训练 + 推理，只靠 C++ 标准库能做到吗？

这是一个纯C++实现的自研深度学习框架，复现《动手学深度学习》中的英法翻译模型，不依赖任何第三方框架。通过计算图与反向模式自动微分，手动实现梯度计算，揭示反向传播本质。支持CPU、CUDA、Metal多后端，采用延迟执行与高效内存管理，代码清晰展现每一层计算与梯度推导，帮助开发者从“调包”走向“理解”。

2026-10-02 08:30:00 300

原创工业视觉多任务方案：可编程梯度信息视觉框架，训练评估 + C++ 部署完整实战

该模型提出“训练复杂、推理高效”的设计哲学，通过可编程梯度信息（PGI）框架与广义高效层聚合网络（GELAN）协同优化信息流与梯度流。PGI在训练时构建可逆辅助分支，实现无损梯度传递，推理时完全丢弃，零部署开销；GELAN融合CSP与ELAN优势，以标准卷积实现高表达力与线性扩展性。结合重参数化卷积，模型在保持轻量推理的同时，显著提升精度——在MS COCO上达55.6% AP，参数效率超越前代。

2026-10-02 00:19:06 363

原创抛弃 PyTorch！纯 C++ 轻量推理引擎，搞定音频 RNN 实时流式推理

本项目为轻量级C++音频推理引擎，专为实时音效插件设计，支持GRU/LSTM等时序网络，实现毫秒级低延迟推理。通过编译期模板优化与多后端（Eigen/xsimd/STL）切换，兼顾性能与跨平台兼容性。模型权重由Python训练后导出为JSON，C++端预分配内存、零动态分配，确保音频流无卡顿。提供动态与静态API，适配VST3/LV2插件开发，适用于吉他功放、磁带模拟等高保真音频建模场景。

2026-10-01 08:00:00 277

原创轻量天花板！一个极简C语言神经网络库的底层架构与实现原理

一个仅4个C文件、不足4000行代码的轻量级神经网络库，以纯手动实现计算图与反向模式自动微分，支撑MLP、CNN、RNN、LSTM等主流结构。通过算子注册、层API DSL、内存布局优化等设计，展现深度学习核心原理的简洁之美。其编译后线性化计算图、梯度回传机制及内存集中管理，揭示了框架背后的本质逻辑，兼具教学价值与嵌入式部署优势，证明复杂系统可源于极简实现。

2026-09-30 10:30:00 616

原创不用 PyTorch！纯 C 实现 N 维张量 + 反向传播，完成手写数字识别训练

本项目用500行纯C代码实现极简深度学习框架，核心为张量存储（含shape/stride）、算子计算（matmul、ReLU、LogSoftmax等）与自动微分（Autograd）。通过手写计算图与链式法则，实现反向传播，构建全连接网络训练MNIST，全程零依赖外部库，完整演示深度学习底层原理。

2026-09-29 20:00:00 703

原创 C++/CUDA 手写 LLM 推理引擎：拆解 vLLM 核心 PagedAttention 与连续批处理

本项目基于C++与CUDA从零实现轻量化大模型推理服务，对标vLLM核心思想，采用Llama 3.2 1B Instruct模型与Safetensors格式权重，完整实现Prefill/Decode、PagedAttention分页缓存、连续批处理、Online Softmax等关键技术。通过手写CUDA Kernel结合cuBLAS，覆盖BF16计算、KV缓存管理、GQA注意力、静态与连续批调度等硬核知识点，构建教学型推理引擎，助力开发者深入理解LLM底层原理。

2026-09-27 15:04:57 372

原创千行 C 代码实现 Qwen3 架构推理：零依赖单文件 CPU 本地 LLM 部署

本项目为纯C语言实现的轻量级大模型推理框架，基于Qwen3架构，支持Qwen3-4B/8B等稠密模型在无GPU、无外部依赖的CPU上本地运行。通过Python工具完成模型量化与二进制导出，推理阶段仅需C内核，全程零Python环境。核心亮点包括：原生手写张量运算、Q8_0量化、KV Cache优化、OpenMP多核加速、自回归采样与分词解耦设计。代码约千行，结构清晰，适合学习LLM底层原理，完整呈现从输入到输出的前向计算链路。

2026-09-26 23:35:11 306

原创轻量到离谱：C++ YOLO 全系列推理，开箱即用零 Python 依赖

本项目为纯C++实现的轻量级视觉AI推理工具集，全面覆盖YOLO系列及多种主流视觉任务，支持ONNX Runtime、TensorRT等五大后端，实现一套代码跨平台部署。采用四层解耦架构与统一API设计，所有模型调用规范一致，内置预处理、NMS、坐标映射与绘制工具，开箱即用，无Python或深度学习框架依赖，极大降低工业场景落地成本，显著提升开发效率与系统集成能力。

2026-09-25 08:36:48 380 1

原创两千行代码跑通 DeepSeek：纯 C++ CPU 推理引擎，性能接近主流实现

本项目为一套纯C++实现的极简DeepSeek大模型CPU推理引擎，代码量不足2000行，支持V2至V3.1全系列模型及多档位量化（含Q2_K、F8E5M2），基于OpenMP并行与AVX2/F16C指令优化，性能接近主流引擎。采用三层扁平架构，清晰呈现权重加载、Transformer前向传播与多潜注意力（MLA）计算流程，突出内存带宽瓶颈下的优化策略，是学习模型架构、量化技术与CPU推理优化的理想范本。

2026-09-24 18:36:19 156

原创无框架依赖：昇腾 NPU 纯 C++ 多模态推理引擎，SigLIP 全链路跑 NPU

本项目为面向昇腾310B NPU的纯C++多模态推理引擎，实现24层语言模型与SigLIP视觉塔的端到端推理，全链路运行于NPU，Python仅负责轻量预处理。通过定制Cube矩阵乘、分块语言头路径及向量化因果卷积步核，解码速度从2.88提升至5.90 token/s，性能翻倍；视觉塔精度误差<0.0098，与参考实现对齐。采用三层解耦架构，支持流式输出与前缀缓存，具备轻量化、低延迟、易集成等工程优势，是端侧多模态推理的理想方案。

2026-09-23 22:48:56 211

原创零依赖纯手写：C++ 从零实现神经网络，批量训练识别 MNIST 数字

本项目基于纯C++从零实现神经网络，完整覆盖MNIST手写数字识别全流程：自主解析二进制数据集、实现全连接层与ReLU/Sigmoid激活函数、手动编写前向传播与反向传播逻辑，采用小批量梯度下降训练，无任何外部依赖。代码严格对应数学原理，模块化设计清晰，全面展现权重更新、梯度计算等核心机制，是深入理解深度学习底层原理的实践范本。

2026-09-22 22:30:49 540

原创告别改源码适配模型：纯 C++ 可配置 LLM 推理引擎，全格式全结构兼容

本项目为纯C++实现的高可配置大模型推理引擎，采用配置驱动设计，支持解码器、编码器及编码-解码三类结构，无需修改代码即可接入新模型。原生支持2~8bit量化，创新3.5bit精细量化，在中端显卡上实现34B~40B模型流畅运行。集成分层流水线、张量并行与混合并行策略，兼容多种权重格式，并内置安全pickle解析器，规避代码执行风险。四层模块化架构实现配置、调度、计算与硬件层解耦，支持CPU/GPU混合推理与动态批处理，显著降低部署成本与运维复杂度。

2026-09-21 22:55:19 319

原创零依赖原生实现：C/C++ 扩散模型推理引擎，SD/FLUX 全模型兼容

本项目是一款纯C/C++构建的轻量级扩散模型推理引擎，零Python依赖，支持Stable Diffusion、FLUX、Qwen等多类模型，原生兼容CPU、CUDA、Vulkan、Metal、SYCL五大后端，全精度与2~8bit量化，直接加载ckpt、safetensors、GGUF格式。内置文本编码、UNet去噪、VAE解码、LoRA、LCM、Flash Attention、ControlNet等生产级功能，512×512图像生成仅需1.8GB内存，适用于端侧、嵌入式等资源受限场景。采用四层模块化架构

2026-09-20 22:46:55 81

原创不用 Python 框架：纯 C++ YOLO 推理引擎，覆盖 v5 到 YOLO26 全模型

本项目为纯C++实现的全版本YOLO推理引擎，支持v5至v12、YOLO26及开放词汇YOLOE，覆盖检测、分割、姿态、OBB、分类、深度估计六大任务。基于ONNX Runtime实现跨平台（Linux/Windows/macOS）CPU/GPU加速，零Python依赖，支持内存加载、批量推理、量化模型等生产级特性，通过百项测试确保精度对齐。采用四层模块化架构与统一API设计，具备高可扩展性与低学习成本，适用于工业嵌入式、边缘计算等场景。

2026-09-19 21:57:10 336

原创零依赖纯手写：C++ 实现完整神经网络，张量反向传播全打通

本项目为纯C++实现的零依赖神经网络库，从零构建张量运算、模块化网络层、前向传播与手动反向传播全流程。采用数值稳定优化（如LogSumExp）、程序化生成手写数字数据集（含抖动、旋转等增强），支持训练权重导出至前端，实现浏览器端实时推理可视化。架构五层模块化设计，强调底层原理理解与可移植性，适用于嵌入式部署与深度学习教学实践。

2026-09-18 23:11:18 542 1

原创不用 GPU！RK3588 跑视觉大模型，Qwen3.5-2B VLM 端侧落地

本项目基于瑞芯微RK3588 NPU，实现一套全C++构建的Qwen3.5-2B多模态推理系统，采用W8A8量化语言模型与FP16视觉编码器，在3GB内存下完成单图/视频双模式自动切换推理。通过NPU全链路加速、动态KV缓存与流式输出，实现秒级响应与低功耗部署，适用于嵌入式边缘设备。核心架构分三层解耦，支持稀疏采样视频理解与多轮对话，主程序仅数十行代码，接口简洁，具备高可移植性与实用价值。

2026-09-17 23:26:57 322

原创扔掉 vLLM！从零构建 Qwen3-8B 推理引擎，C++/CUDA 实现性能追平 98%

本项目实现一套从零出发的Qwen3-8B推理栈，采用Go+C++双层架构，不依赖PyTorch等框架，专注单模型高性能推理。历经三阶段演进：教学级单文件程序→批处理服务端→性能优化版，最终在RTX 4090上达主流引擎95%~98%吞吐。核心创新包括分页KV缓存、FlashAttention、连续批处理、GQA与前缀缓存，结合gRPC跨层通信与二进制嵌入，实现纯计算层与业务层解耦，交付单一可执行文件，兼具高性能、低延迟与易部署特性。

2026-09-16 22:36:18 178

原创扔掉 Python！纯 C++ 本地跑扩散 TTS，GGML 加持，支持 RK3588 NPU 加速

本项目为纯C++实现的轻量级文本转语音（TTS）引擎，基于GGML张量库构建，采用扩散式两阶段架构：先由Qwen3骨干扩散模型生成离散音频编码，再通过卷积解码器还原为24kHz波形。支持CPU与RK3588 NPU双后端加速，全链路零Python依赖，内置原生BPE分词器，支持多档量化、语音克隆与确定性生成，编译后单文件运行，适用于端侧、嵌入式及离线工具场景，兼顾高音质、低延迟与强可移植性。

2026-09-15 22:24:19 317

原创两张 3090 扛 27B：Qwen3.8-27B 大模型 DFlash2 加速版生产级落地

本方案基于vLLM引擎，实现Qwen3.8-27B大模型在双RTX 3090（24GB）上的高效部署，采用AutoRound W4A16量化与张量并行技术，显存占用降低60%以上。支持DFlash2（速度档）与MTP（上下文档）双推测解码模式，分别实现单流提速30%、上下文达262K，兼顾延迟与并发。配套OpenAI兼容API、Docker化部署及systemd服务，可直接用于生产，覆盖结构化输出、长文档处理、视觉理解等场景。

2026-09-14 22:39:28 376

原创扔掉 PyTorch！纯 C++11 从零写 GPT-2 推理引擎，完整跑通了

本项目基于C++11从零实现GPT-2推理框架，不依赖PyTorch等框架，融合BPE分词、张量运算与Transformer前向传播，通过Intel MKL实现高性能矩阵计算。代码精简、部署轻量，支持快速冷启动与端侧运行，完整对齐官方计算逻辑，具备可学习、可修改、可移植的特性，是理解大模型底层原理的理想实践。

2026-09-13 23:09:31 182

原创 LLM+Agent 全栈推理底座：Triton 算子优化・语义级缓存・分布式调度

本项目为全链路自研大模型推理引擎，基于自定义CUDA算子与纯C++运行时，不依赖第三方框架。核心创新包括分页KV缓存、语义级前缀缓存、预编译MGX格式及分层CPU卸载，实现高并发长上下文推理。在NVIDIA L4上吞吐达主流方案93.1%，开启语义缓存后反超2.8%；纯CPU模式最高提升1.65倍。通过原生优化RMSNorm算子、冷热分层调度与2:4稀疏压缩，显著降低延迟与显存占用，支持分布式推理与可解释性，具备强可移植性与服务化部署能力。

2026-09-12 22:00:10 281

原创 LLM 技术迁移音频领域：基于 GGML 搭建 Roformer，端侧音乐人声分离实现详解

本项目为纯C++实现的轻量级音乐源分离推理引擎，基于ggml张量库，支持BS与Mel-Band-Roformer双架构，采用GGUF格式统一模型存储，原生兼容CPU、CUDA、Vulkan多硬件加速，支持从FP32到Q4全量化。引擎无框架依赖，部署极简，内置STFT/ISTFT、分块重叠拼接与流水线并行优化，实现端到端高效分离，适用于桌面软件与端侧设备，兼顾性能与体积。

2026-09-11 23:24:51 292

原创纯C++轻量计算机视觉推理引擎：基于GGML的端侧CV模型部署技术全解析

本项目是一款纯C++构建的轻量级计算机视觉推理引擎，基于ggml张量库，支持图像分割、深度估计、修复、超分等任务，零依赖、跨平台，部署体积仅5-30MB，启动<100ms。采用统一GGUF模型格式与模块化设计，兼容CPU/Vulkan加速，实现“一次编码、多次提示”的高效交互。核心优势在于极简部署、低资源占用与高可扩展性，适用于端侧、嵌入式及离线场景，提供原生API与Python绑定，兼顾性能与开发效率。

2026-09-10 22:23:50 237 1

原创从零写 GPT 推理引擎：纯 C++/CUDA，四轮优化提速 1381 倍

本项目为纯C++与自定义CUDA实现的GPT-2推理引擎，针对124M模型从零手写优化，全程不依赖深度学习框架。通过四轮工程优化：重构分块GEMM与Warp归约GEMV、引入共享内存与寄存器洗牌、实现持久化KV缓存、静态内存管理与双模式调度，将1024token预填充时间从13.7秒降至910毫秒，单token解码延迟从13.7秒降至9.9毫秒，解码阶段提速1381倍，完整呈现大模型推理的底层优化实战路径。

2026-09-09 23:39:37 260

原创一张 RTX 3090 跑 Llama 70B：三层流式缓存 + NVMe 直连，速度干到 83 倍

<think>我们只需要根据用户要求，写一个≤150字的摘要。需要概括项目核心：纯C++/CUDA从零实现的大模型推理引擎，无第三方依赖，通过三层缓存、流式流水线、GPU-NVMe直通、层跳过等技术，在24GB显存上运行70B模型，速度提升83倍。摘要要简洁。</think>纯C++与CUDA从零构建的高性能LLM推理引擎，零第三方依赖。通过三层自适应缓存、流式流水线、GPU-NVMe直通及层跳过等优化，在24GB显存的RTX 3090上流畅运行Llama 3.1 70B，速度达传统mmap的83倍，以最低

2026-09-08 23:07:46 101

原创不用 RAG 了！纯 C 写的 LLM 引擎，7 倍无损 KV 压缩，一个头文件就能跑

<think>我们根据用户要求，需要根据给定内容生成≤150字的文章摘要。内容是关于纯C语言实现的轻量化大语言模型推理引擎，重点包括KV缓存量化压缩、单头文件集成、零依赖、跨平台支持等。摘要需要简洁，涵盖核心特点和优势。注意字数限制。我将撰写摘要，突出：纯C实现、KV压缩实现7倍上下文、单头文件零依赖、支持多个模型架构和硬件，以及降低部署门槛。要确保字数不超过150。中文字符计数。完成后。</think>纯C语言实现的轻量化LLM推理引擎，核心创新为KV缓存渐进式量化，压缩7倍上下文近乎无损，16GB内

2026-09-07 23:08:37 358

原创从计算图到梯度推导：自注意力 C++/CUDA 扩展的完整实现逻辑

<think>我们根据要求，基于给定内容生成不超过150字的文章摘要。内容是关于PyTorch生态的C++自注意力算子优化。摘要需要简洁概括项目核心、技术要点和优势。字数控制在150字以内。需要提取关键信息：纯C++基于ATen实现多头自注意力，作为PyTorch扩展，支持前后向，精度对齐，减少Python调度开销，性能提升，无侵入兼容。概括即可。注意字数。</think>本文介绍了一种PyTorch底层性能优化方案：用纯C++基于ATen框架实现多头自注意力算子，作为自定义扩展无缝接入PyTorch，完整

2026-09-06 15:19:28 359

原创纯C语言从零实现GPT-2：Transformer底层原理+逐模块代码详解+CUDA优化路径

<think>我们根据要求生成一个摘要，内容是基于给定的长文。摘要需≤150字。需要涵盖核心：纯C实现GPT-2 Transformer教学项目，无框架依赖，支持推理训练，加载Safetensors，重点讲解原理、架构、算子实现。简洁概括。注意字数。生成摘要。</think>纯C语言从零实现GPT-2 Transformer教学项目，无框架依赖，可加载Safetensors权重在CPU上推理与训练。通过朴素代码揭示自注意力、层归一化、反传等底层数学与工程实现，模块化设计便于学习及作为CUDA优化基准。

2026-09-05 23:16:31 360

原创基于GGML的C++17轻量化语音推理引擎：说话人识别与语音分析技术全解析

<think>我们根据要求生成摘要，不超过150字。用户提供了长文，需要提取核心内容。摘要应涵盖项目定义、技术特点、架构、优势等。注意字数。</think>这是一款基于C++17和GGML的端侧语音推理引擎，实现说话人识别与语音属性分析。采用GGUF量化模型，免Python/PyTorch依赖，精度与参考模型余弦相似度≥0.9999，内存仅为传统方案1/5。四层极简架构，支持CPU多平台及GPU加速，提供C ABI接口，覆盖声纹嵌入、身份校验、语音年龄/性别/情绪分析，适合离线私有化部署。

2026-09-04 23:34:05 404

原创大模型推理底层揭秘：C++17实现Transformer每一层的前向传播

完整的Llama-family架构：RMSNorm、RoPE、GQA、SwiGLU、残差连接，每一层都用numpy参考验证加固的GGUF加载器：不信任任何输入，边界检查、算术校验、fail-closed多级量化支持：从F32到Q4_K_M，覆盖主流格式，K-quants质量实测优秀三级SIMD调度：运行时CPUID检测，自动选择Scalar/AVX2/AVX-512，位一致性保证SuperSpec推测解码：多草稿器+批量验证+Adaptive-K，正确性严格保证：选择性KV保留，长上下文内存可控。

2026-09-03 22:54:13 365

Sqlite.zip

空空如也