redhat77-CSDN博客

原创【DGX Spark 实战】llama.cpp 调优实录：三个改动，decode 从 15 到 24 t/s

适读人群：拥有 NVIDIA GB10 / DGX Spark 并在本地跑大模型的开发者环境：Ubuntu 24.04 (aarch64) · CUDA 13.0 · llama.cpp b11310 · Qwen3.8-27B Q4_K_M（qwen35 hybrid 架构，16 层全注意力 + 48 层 GDN）实测环境：121GB 统一内存，48 SM Blackwell (sm_121)

2026-10-04 10:22:24 559

原创【DGX Spark 实战】面向 128GB 统一内存的DeepSeek-V4 流式推理引擎设计及实现

本文详细介绍了如何在 128GB 统一内存的 DGX Spark（GB10）单卡上运行 284B 参数、158GB 权重的 DeepSeek-V4-Flash 模型，核心思路是利用 MoE 架构稀疏激活特性，仅按需加载激活的专家权重。

2026-05-06 09:37:11 2487 2

原创【Qwen Code】自定义模型配置指南,支持https自签名证书访问

本文档介绍如何在 Qwen Code 中配置自定义模型，特别是连接使用自签名证书的私有 API 端点（如 vLLM 部署的模型服务）。

2026-03-05 22:30:50 682

原创【DGX Spark 实战】部署SGLang，千问3.5-27B模型初探

部署SGLang推理引擎，加载千问3.5-57B模型

2026-03-02 06:38:03 1775 1

原创【trae solo练手教程】多数据库数据结构分析与查询系统开发

展示trae solo练手项目

2026-02-26 19:24:44 911 1

原创【DGX Spark 实战】部署 vLLM + Open WebUI 运行 Qwen3-Coder-Next-FP8（CUDA 13.0 兼容版）-修订

本文详细记录在 NVIDIA DGX Spark（Grace Blackwell 架构）上部署 vLLM 推理服务并接入 Open WebUI 的完整流程，包含 FlashAttention 编译、vLLM wheel 安装、Qwen3-Coder-Next-FP8 模型加载等关键步骤，适配 aarch64 + CUDA 13.0 环境，所有命令经实测验证，可直接用于生产部署

2026-02-20 13:34:18 3430 2

原创 MySQL5.7.44基础教程

银河麒麟v10sp3安装mysql5.7.44，systemd多实例启动，基础建模及数据操作

2024-05-04 23:16:16 2784 2

宿主机：硬件：64G内存，11th Gen Intel(R) Core(TM) i7-11800H，软件：win11操作系统.virtualbox 7，关闭Windows功能（Hyper-v ，Windows虚拟机监控程序平台，虚拟机平台），禁用内存隔离（内存完整性），关闭Hyper-V启动（bcdedit /set hypervisorlaunchtype off）虚拟机（启用嵌套Vt-x）：16GB内存，4核cpu，Debian 12 edu版，创建docker 用户及用户组。

2023-08-27 01:02:43 396