ktransformers DeepSeek-R1 671B HEAD 7a19f3b

已于 2025-03-06 10:04:20 修改
阅读量434 收藏 3
点赞数 6
分类专栏： AI 文章标签： ktransformers DeepSeek-R1 671B
于 2025-03-06 10:02:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010953692/article/details/146036450
版权

ktransformers DeepSeek-R1 671B HEAD 7a19f3b

HEAD 7a19f3b

大型语言模型

https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files

unsloth/DeepSeek-R1-GGUF
DeepSeek-R1-Q4_K_M

安装依赖

sudo apt-get install git
curl -LsSf https://astral.sh/uv/install.sh | sh

下载源码

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init # 初始化本地配置文件，注册子模块
git submodule update # 克隆尚未克隆的子模块仓库，检出到主仓库中指定的提交点
git checkout 7a19f3b
git rev-parse --short HEAD

创建虚拟环境

cd ..
uv venv ./venv --python 3.11 --python-preference=only-managed
source  venv/bin/activate

实验性使用flashinfer替代triton

uv pip install flashinfer-python

# uv pip install flashinfer-python
Using Python 3.11.11 environment at: venv
Resolved 26 packages in 2.16s
      Built flashinfer-python==0.2.2.post1
Prepared 1 package in 3.25s
░░░░░░░░░░░░░░░░░░░░ [0/26] Installing wheels...                                                                                                    warning: Failed to hardlink files; falling back to full copy. This may lead to degraded performance.
         If the cache and target directories are on different filesystems, hardlinking may not be supported.
         If this is intentional, set `export UV_LINK_MODE=copy` or use `--link-mode=copy` to suppress this warning.
Installed 26 packages in 14.92s
 + filelock==3.17.0
 + flashinfer-python==0.2.2.post1
 + fsspec==2025.2.0
 + jinja2==3.1.5
 + markupsafe==3.0.2
 + mpmath==1.3.0
 + networkx==3.4.2
 + ninja==1.11.1.3
 + numpy==2.2.3
 + nvidia-cublas-cu12==12.4.5.8
 + nvidia-cuda-cupti-cu12==12.4.127
 + nvidia-cuda-nvrtc-cu12==12.4.127
 + nvidia-cuda-runtime-cu12==12.4.127
 + nvidia-cudnn-cu12==9.1.0.70
 + nvidia-cufft-cu12==11.2.1.3
 + nvidia-curand-cu12==10.3.5.147
 + nvidia-cusolver-cu12==11.6.1.9
 + nvidia-cusparse-cu12==12.3.1.170
 + nvidia-cusparselt-cu12==0.6.2
 + nvidia-nccl-cu12==2.21.5
 + nvidia-nvjitlink-cu12==12.4.127
 + nvidia-nvtx-cu12==12.4.127
 + sympy==1.13.1
 + torch==2.6.0
 + triton==3.2.0
 + typing-extensions==4.12.2

查询GPU计算架构

nvidia-smi --query-gpu=compute_cap --format=csv

# nvidia-smi --query-gpu=compute_cap --format=csv
compute_cap
8.9
8.9

设置TORCH_CUDA_ARCH_LIST环境变量

export TORCH_CUDA_ARCH_LIST="8.9"

编译ktransformers

cd ktransformers/

sudo apt-get install build-essential cmake

uv pip install -r requirements-local_chat.txt
uv pip install setuptools wheel packaging

# 如果拥有充足的CPU核心和内存资源，可显著提升构建速度
export MAX_JOBS=8
export CMAKE_BUILD_PARALLEL_LEVEL=8

# 安装flash_attn
uv pip install flash_attn --no-build-isolation


# 可选实验性使用flashinfer替代triton
uv pip install flashinfer-python

# 仅适用于以下情况：
# 配备Intel双路CPU且内存>1TB可容纳两份完整模型内存副本(每路CPU一份副本)
# AMD EPYC NPS0双路平台可能无需此配置？
export USE_NUMA=1

# 安装ktransformers
KTRANSFORMERS_FORCE_BUILD=TRUE uv pip install . --no-build-isolation

# 如需重新编译，先执行清理操作：
uv pip uninstall ktransformers
rm -rf ktransformers/ktransformers_ext/build
rm -rf ktransformers/ktransformers_ext/cuda/build
rm -rf ktransformers/ktransformers_ext/cuda/dist
rm -rf ktransformers/ktransformers_ext/cuda/*.egg-info

安装完成

# KTRANSFORMERS_FORCE_BUILD=TRUE uv pip install . --no-build-isolation
Installed 34 packages in 289ms
 + accelerate==1.4.0
 + annotated-types==0.7.0
 + anyio==4.8.0
 + blessed==1.20.0
 + build==1.2.2.post1
 + click==8.1.8
 + colorlog==6.9.0
 + fastapi==0.115.11
 + greenlet==3.1.1
 + h11==0.14.0
 + httpcore==1.0.7
 + httpx==0.28.1
 + jsonpatch==1.33
 + jsonpointer==3.0.0
 + ktransformers==0.2.2rc1+cu126torch26fancy 
 + langchain==0.3.20
 + langchain-core==0.3.41
 + langchain-text-splitters==0.3.6
 + langsmith==0.3.11
 + orjson==3.10.15
 + psutil==7.0.0
 + pydantic==2.10.6
 + pydantic-core==2.27.2
 + pyproject-hooks==1.2.0
 + requests-toolbelt==1.0.0
 + sentencepiece==0.2.0
 + six==1.17.0
 + sniffio==1.3.1
 + sqlalchemy==2.0.38
 + starlette==0.46.0
 + tenacity==9.0.0
 + uvicorn==0.34.0
 + wcwidth==0.2.13
 + zstandard==0.23.0

运行ktransformers

本地对话

单核CPU

python ktransformers/ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /deepseek/DeepSeek-R1-Q4_K_M/ --cpu_infer 36 --cache_lens=32768 --max_new_tokens 8192

双核CPU

python ktransformers/ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /deepseek/DeepSeek-R1-Q4_K_M/ --cpu_infer 73 --cache_lens=32768 --max_new_tokens 8192

使用双显卡

python ktransformers/ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /deepseek/DeepSeek-R1-Q4_K_M/ --cpu_infer 73 --optimize_config_path ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml --cache_lens=32768 --max_new_tokens 8192

# 按需修改参数，使用 `--help` 查看帮助文档
# 支持多GPU配置及通过 `--optimize_config_path` 进行更细粒度的显存卸载设置
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True python3 ktransformers/server/main.py \
    --gguf_path /mnt/ai/models/unsloth/DeepSeek-R1-GGUF/DeepSeek-R1-UD-Q2_K_XL/ \
    --model_path deepseek-ai/DeepSeek-R1 \
    --model_name unsloth/DeepSeek-R1-UD-Q2_K_XL \
    --cpu_infer 16 \
    --max_new_tokens 8192 \
    --cache_lens 32768 \
    --total_context 32768 \
    --cache_q4 true \
    --temperature 0.6 \
    --top_p 0.95 \
    --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml \
    --force_think \
    --use_cuda_graph \
    --host 127.0.0.1 \
    --port 8080

参考

  1. ktransformers
  2. ktransformers 上的 DeepSeek-R1 671B
KTransformers：一个灵活的框架，用于体验前沿的 LLM 推理优化
u013250861的博客
02-15 719
通过用一行代码实现和注入一个优化模块，用户可以访问与 Transformers 兼容的接口、符合 OpenAI 和 Ollama 的 RESTful API，甚至还有一个简化的类似 ChatGPT 的网页用户界面。要使用提供的内核，用户只需创建一个基于 YAML 的注入模板，并在使用 Transformers 模型之前添加对 `optimize_and_load_gguf` 的调用。如果您需要其他功能，请告诉我们。遍历模型的所有子模块，匹配您在 YAML 规则文件中指定的规则，并用指定的高级模块替换它们。
transformers教程（一、使用初始化）
m0_53873351的博客
01-23 1610
Transformers是一种基于注意力机制的深度学习模型架构，由谷歌团队在2017年首次提出。该模型架构在自然语言处理（NLP）领域取得了显著成就，并迅速扩展到计算机视觉、语音处理等其他领域。Transformers的核心在于其独特的编码器-解码器结构、多头注意力机制以及位置编码。它通过并行计算多个自注意力子层来捕捉输入序列中不同位置之间的依赖关系，从而有效地建模长距离依赖。位置编码的加入则解决了自注意力机制本身无法获取序列中元素位置信息的问题。
KTransformers：低预算用户的LLM推理优化神器，轻松部署DeepSeek-R1-671B！
2401_83179994的博客
02-26 1799
本文将详细介绍 KTransformer 的安装过程，包括环境准备、依赖安装、模型下载与测试运行。在当今 AI 时代，大规模语言模型（LLM）的推理优化已成为技术前沿的热门话题。2，将模型文件放置到指定目录，例如 `/data/path/DeepSeek-R1/`。是一个强大的工具，它不仅帮助你节省成本，还能让你快速进入 AI 推理优化的世界。👇 关注我们，获取更多 AI 部署和优化的干货内容！
Transformers GitHub项目星标突破10万！新里程碑！
阿木寺的博客
05-19 1606
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：新智元 |编辑：桃子【导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！2017年，谷歌团队在论文「Attentio...
DeepSeek-R1：使用KTransformers实现高效部署指南
weixin_44245188的博客
03-05 1320
而由于国内的一些网络问题，可能会导致直接下载模型失败。子模组 ‘third_party/llama.cpp’（https://github.com/ggerganov/llama.cpp.git）已对路径 ‘third_party/llama.cpp’ 注册。子模组 ‘third_party/pybind11’（https://github.com/pybind/pybind11.git）已对路径 ‘third_party/pybind11’ 注册。以及需要手动安装libstdc。检查配置文件是否完整。
ESP8266开发之旅 网络篇⑯ 无线更新——OTA固件更新
单片机菜鸟哥的博客
06-20 2万+
1. 前言     前面的博文中，我们编写的固件都是通过ArduinoIDE往串口线上的ESP8266模块去烧写固件。这样就会有几个弊端： 需要经常插拔转接线，很容易造成8266串口丢失； 如果是将ESP8266做成产品并交付到客户手上之后应该如何更新产品中的ESP8266固件呢？难道要用户拿到技术中心来更新？如果是这样，这个产品必定属于失败产品。 在这里，就引入我们本篇章需要了解的实用知识 ...
2021-03-05
chocolate2018的博客
03-05 439
Arago项目：设置构建环境 先决条件 以下的先决条件是必需的，并且只需要执行一次。如果您之前已经处理过这一点，请跳过快速开始部分或详细设置部分。 交叉编译工具链 meta-arago可以使用不同的工具链，目前推荐的是Arm 7.2-2017.11。如果您还没有安装它，请下载并解压缩二进制发行版。 安装Arm工具链 $ wget https://developer.arm.com/-/media/Files/downloads/gnu-a/8.3-2019.03/binrel/gcc-arm-8.3-201
第十四章 加密和安全 -- OpenSSL（一）
Raymond的博客
10-24 534
官网：https://www.openssl.org/OpenSSL计划在1998年开始，其目标是发明一套自由的加密工具，在互联网上使用。OpenSSL以EricYoung以及Tim Hudson两人开发的SSLeay为基础，随着两人前往RSA公司任职，SSLeay在1998年12月停止开发。因此在1998年12月，社群另外分支出OpenSSL，继续开发下去OpenSSL管理委员会当前由7人组成有13个开发人员具有提交权限（其中许多人也是OpenSSL管理委员会的一部分）。
前端的学习之路：初级HTML---图片标签
weixin_44647555的博客
02-01 1万+
图片标签 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=10"> <title>图片标签</title> </head> <body> <!--
vue-monoplasty-slide-verify自定义拼图出现位置
weixin_52651045的博客
10-12 4728
自定义拼图出现位置, 配合后台控制成功/失败触发时机 安装 vue-monoplasty-slide-verify npm install --save vue-monoplasty-slide-verify 在main.js中引入全局组件SlideVerify import Vue from 'vue'; import SlideVerify from 'vue-monoplasty-slide-verify'; Vue.use(SlideVerify); 参数详情可参考: https://gite
Transformers之环境安装
qq_35215756的博客
03-18 2万+
自定义安装，主要是为了在docker中使用conda虚拟环境。
Ktransformers实践-仅用14G显存就能跑Deepseek-R1 671B
qq_44193969的博客
03-04 1588
KTransformers 的原理主要基于以下核心技术：1. **异构计算与任务卸载**：通过混合专家（MoE）架构的稀疏性，将稀疏矩阵卸载到 CPU/DRAM 处理，稠密部分保留在 GPU 上，从而大幅降低显存需求。2. **高性能算子优化**：- 在 CPU 端，使用 Llamafile 内核结合多线程、任务调度和负载均衡优化，提升推理效率。- 在 GPU 端，引入 Marlin 内核，专门优化量化矩阵计算，相比传统库加速 3.87 倍。
DeepSeek-R1：使用KTransformers部署（保姆级教程）
趋吉避凶的博客
02-19 1万+
KTransformers作为一个开源框架，专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算，并针对MoE架构的稀疏性进行了特别优化，可以有效降低硬件要求，允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。例如，KTransformers实现了24GB显存环境下本地运行DeepSeek-R1满血版的能力，大大降低了部署成本和技术门槛。
KTransformers部署 使671B DeepSeek R1成「办公桌标配」
技术宅男改变世界
03-03 1922
KTransformers作为一个开源框架，专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算，并针对MoE架构的稀疏性进行了特别优化，可以有效降低硬件要求，允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。KTransformers实现了强大的CPU+DDR5+24GB显存环境下本地运行DeepSeek-R1满血版的能力，大大降低了部署成本和技术门槛。
ktransformers环境搭建记录分享
油焖大肠杆菌的博客
03-01 1227
我是一个刚刚开始接触这一领域的新手，说的不对的地方，请多指正。我的系统是ubuntu 24.10本文是我在看了几个教程都翻车了之后，摸索出来的。
Transformers 自然语言处理（二）
龙哥盟
04-30 1395
我们将使用与 DistilBERT Transformers相同数量的层和头部来预训练 RoBERTa 类型的Transformers模型。我们将更详细地探讨配置，见步骤 9：从零开始初始化模型。让我们首先在我们的模型中重新创建分词器。在初始化训练器之前，我们需要运行一个数据收集器。数据收集器将从数据集中取样并将其汇集成批次。结果类似于字典对象。我们通过设置mlm=True为 MLM 准备了一个批处理样本过程。我们还将训练的蒙版标记数目设置为。这将决定在预训练过程中屏蔽的标记的百分比。
Transformers 源码解析（三十二）
龙哥盟
07-02 332
【代码】Transformers 源码解析（三十二）
huggingface.transformers安装教程
热门推荐
诸神缄默不语的博客
02-28 4万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
ktransformers单机docker部署deepseek-r1 671b
最新发布
04-26
<think>好的，我现在需要帮助用户解决在单机Docker环境中使用KTransformers部署DeepSeek-R1 671B模型的问题。首先，我得回顾用户的问题和相关引用内容，确保理解正确。 用户提到想查找如何在单机Docker部署DeepSeek-R1 671B的指南，特别是使用KTransformers。根据引用[2]，有提到KTransformers可以单机Docker部署该模型的量化版，并且需要处理显存和推理速度的问题。引用[3]和[4]涉及Docker容器操作和内网穿透，但用户当前的问题主要是部署步骤，所以可能需要重点关注引用[2]中的信息。 首先，我需要明确部署流程。通常，Docker部署会涉及拉取镜像、准备模型文件、配置环境变量和启动容器等步骤。KTransformers可能是一个优化推理的框架，需要确认其安装和使用方法。引用[2]提到显存需求降低到24G，说明模型经过量化处理，可能需要下载特定的量化版本。 接下来，需要分步骤整理指南。例如，安装Docker、获取模型文件、编写Dockerfile或使用现有镜像、设置参数如batch size避免形状错误（引用[2]中的问题4），以及运行测试。此外，可能需要注意模型下载的途径，比如是否需要通过Ollama或其他镜像源（引用[3]的华为云镜像）。 用户可能遇到的问题包括模型下载慢、显存不足、启动参数配置错误等。需要提供解决方案，比如使用镜像加速下载，调整量化等级，或者修改batch size参数。同时，参考引用[2]中的资源链接，可以建议用户查阅相关指南获取更详细的信息。 最后，确保步骤清晰，命令准确，并提醒用户注意常见错误，如形状不匹配的问题，可能由于batch size设置不当引起。需要强调检查参数配置，特别是在服务启动时的batch size设置，以避免类似RuntimeError的出现。</think>以下是在单机Docker环境中使用KTransformers部署DeepSeek-R1 671B模型的完整指南，结合了多个引用资源的技术要点： ### 一、部署准备 1. **硬件要求**： - 推荐使用NVIDIA GPU（显存≥24GB） - 支持CUDA 11.8及以上版本的环境[^2] 2. **基础环境安装**： ```bash # 安装NVIDIA驱动和Docker sudo apt-get install nvidia-driver-535 nvidia-docker2 sudo systemctl restart docker ``` ### 二、部署步骤 1. **获取量化模型**： ```bash # 下载R1-671B-4bit量化版（约35GB） wget https://deepseek.com/models/deepseek-r1-671b-4bit.tar.gz tar -zxvf deepseek-r1-671b-4bit.tar.gz ``` 2. **构建Docker镜像**： ```dockerfile FROM nvidia/cuda:11.8.0-devel-ubuntu22.04 RUN apt-get update && apt-get install -y python3.10 pip RUN pip install ktransformers==0.2.4 torch==2.1.2 COPY deepseek-r1-671b-4bit /app/model WORKDIR /app ``` 3. **启动容器**： ```bash docker run -it --gpus all -p 8000:8000 \ -e MAX_SEQ_LEN=4096 \ -e BATCH_SIZE=1 \ # 必须设置为1避免形状错误[^2] deepseek-r1-inference ``` ### 三、关键配置参数 $$ \text{显存占用} = \frac{\text{模型参数} \times \text{量化位数}}{8} + \text{激活内存} $$ 对于4bit量化版： $$ \frac{671B \times 4}{8} + 8GB \approx 24GB $$ | 参数 | 推荐值 | 说明 | |----------------|---------|-----------------------| | MAX_SEQ_LEN | 4096 | 最大上下文长度 | | BATCH_SIZE | 1 | 避免shape mismatch错误[^2] | | FLASH_ATTN | ON | 启用Flash Attention优化 | ### 四、验证部署 1. **发送测试请求**： ```python import requests response = requests.post("http://localhost:8000/generate", json={ "prompt": "解释量子纠缠现象", "max_tokens": 500 }) print(response.json()["text"]) ``` 2. **性能指标验证： $$ \text{推理速度} \geq 28\times \text{基准速度} \quad (\text{参考KTransformers优化效果})[^2] $$ ### 五、常见问题解决 1. **形状不匹配错误**： ```log RuntimeError: shape mismatch: value tensor of shape [5, 1, 1, 512] cannot be broadcast to indexing result of shape [1, 1, 512] ``` - 解决方案：确保BATCH_SIZE=1，检查KTransformers版本≥0.2.4[^2] 2. **模型加载失败**： - 确认模型文件路径：/app/model应包含config.json和*.safetensors文件 - 检查CUDA兼容性：nvidia-smi显示CUDA Version≥11.8 3. **显存不足处理**： ```bash # 尝试更低量化版本（如2bit） wget https://deepseek.com/models/deepseek-r1-671b-2bit.tar.gz ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值