5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ

最新推荐文章于 2025-03-07 16:58:59 发布
最新推荐文章于 2025-03-07 16:58:59 发布
阅读量2.3k 收藏 22
点赞数 33
分类专栏： LINUX 文章标签： llama linux 人工智能 VLLM deepseek-r1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/engchina/article/details/145564788
版权

5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ

前言

VLLM 是一个高效且轻量的大规模语言模型（LLM）服务器。本文将介绍如何在本地PC上使用VLLM快速启动 Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ 这一高性能语言模型。按照本文的步骤操作，您可以在5分钟内完成模型的启动。

环境准备

所需工具

请确保已安装以下工具：

  • conda：用于管理Python虚拟环境。
  • pip：用于安装Python包。
  • VLLM：用于高效运行LLM的服务器。
  • flash-attn：用于加速模型推理的库。

创建虚拟环境

首先，创建一个Python 3.11的虚拟环境并激活它。

conda create -n vllm_v0.7.2 python=3.11 -y
conda activate vllm_v0.7.2

安装VLLM及依赖库

运行以下命令安装VLLM和flash-attn。

pip install vllm
pip install flash-attn --no-build-isolation

模型下载

安装Hugging Face CLI

为了下载模型，首先安装Hugging Face CLI。

pip install "huggingface_hub[hf_transfer]"

下载DeepSeek-R1-Distill-Qwen-32B

使用以下命令下载 DeepSeek-R1-Distill-Qwen-32B 模型。


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
deepseek r1 量化版本 Vllm 部署运行

				
			

			

				

					AI天才研究院
				

				

					02-04
					
					6136
					
				

			

		

		

			
				
如需进一步了解其他工具（如 Ollama 或 LMStudio）的部署方法，可参考相关文档：。

			
		

	



                

            
              



	

		

			

				
					
Deepseek不同版本之间的区别（一文看懂）

				
			

			

				

					搏博的专栏
				

				

					03-07
					
					466
					
				

			

		

		

			
				
DeepSeek-R1系列模型通过知识蒸馏技术从大型模型提取能力，形成了多个不同版本，比如DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Llama-1.5B、DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int4等，这些版本之间有什么区别。知识蒸馏（Knowledge Distillation）是一种模型压缩和知识迁移技术，旨在将复杂模型（教师模型）的知识传递给更轻量的小模型（学生模型），从而在保持性能的同时降低计算资源需求。

			
		

	



              


  
              

                


	

		

			

				
					
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B

				
			

			

				

					engchina的专栏
				

				

					02-02
					
					9120
					
				

			

		

		

			
				
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B


			
		

	





	

		

			

				
					
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B

				
			

			

				

					xuebodx0923的博客
				

				

					02-02
					
					7552
					
				

			

		

		

			
				
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。

			
		

	



		

			
		



	

		

			

				
					
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案

				
			

			

				

					小毕超博客
				

				

					03-07
					
					2737
					
				

			

		

		

			
				
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。

			
		

	





	

		

			

				
					
windows本地部署vllm,运行deepseek大模型

				
			

			

				

					zxhy0123的博客
				

				

					02-28
					
					6165
					
				

			

		

		

			
				
windows本地部署vllm,加载大模型

			
		

	





	

		

			

				
					
DeepSeek-R1私有化部署——使用Python实现DeepSeek-R1-Distill-Qwen模型部署调用与流式输出

				
			

			

				

					知来者逆的博客
				

				

					03-01
					
					1333
					
				

			

		

		

			
				
DeepSeek-R1-Distill-Qwen 是 DeepSeek 团队基于 DeepSeek-R1 模型通过蒸馏技术生成的一系列轻量化模型。这些模型在保持高性能推理能力的同时，显著降低了计算资源和内存需求，适合在资源受限的环境中部署。DeepSeek-R1-Distill-Qwen 系列模型是通过从 DeepSeek-R1 模型中提取推理模式并迁移到更小的模型架构中生成的。

			
		

	





	

		

			

				
					
VLLM上运行的DeepSeek R1有哪些接口

				
			

			

				

					02-22
				

			

		

		

			
				
 "name": "DeepSeek-R1-Distill-Llama-70B-AWQ",  "description": "Distilled version of LLaMA with AWQ quantization.",  "parameters": {"size": "70B"}  } ] ```  #### 3. POST /tokenize 将给定字符串转换成 ...

			
		

	





	

		

			

				
					
使用 lmdeploy 部署 Qwen/Qwen2-7B-Instruct

				
			

			

				

					engchina的专栏
				

				

					07-13
					
					2097
					
				

			

		

		

			
				
使用 lmdeploy 部署 Qwen/Qwen2-7B-Instruct

			
		

	





	

		

			

				
					
vllm 起 DeepSeek-R1-Distill-Qwen-32B 推理服务并调用

				
			

			

				

					weixin_43988131的博客
				

				

					02-12
					
					592
					
				

			

		

		

			
				
request 调用DeepSeek-R1-Distill-Qwen-32B推理服务。curl命令调用DeepSeek-R1-Distill-Qwen-32B推理服务

			
		

	





	

		

			

				
					
DeepSeek 部署指南 (使用 vLLM 本地部署)

					
热门推荐

				
			

			

				

					m0_48891301的博客
				

				

					02-07
					
					3万+
					
				

			

		

		

			
				
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。

			
		

	





	

		

			

				
					
vllm 本地部署生产级DeepSeek R1 32B 模型实践

				
			

			

				

					maskevinwu的专栏
				

				

					02-03
					
					7819
					
				

			

		

		

			
				
vllm 本地部署生产级DeepSeek R1 32B 模型实践

			
		

	





	

		

			

				
					
压测报告：DeepSeek-R1-Distill-Qwen-32B模型性能评估

				
			

			

				

					maxcode
				

				

					02-26
					
					1054
					
				

			

		

		

			
				
实验结果表明，DeepSeek-R1-Distill-Qwen-32B模型在不同并发请求数下表现出了较强的扩展性和稳定性。随着并发请求数的增加，峰值生成速度有所提升，但在某些场景下（如150个/秒并发请求），生成速度略有下降，可能与资源分配或计算瓶颈有关。实验主要关注模型在不同并发请求数下的峰值生成速度。每秒并发处理请求数100个。每秒并发处理请求数150个。每秒并发处理请求数200个。每秒并发处理请求数70个。每秒并发处理请求数51个。每秒并发处理请求数20个。每秒并发处理请求数6个。

			
		

	





	

		

			

				
					
vllm启动qwen32b的模型

				
			

			

				

					sqlora的专栏
				

				

					01-09
					
					1931
					
				

			

		

		

			
				
接：vllm启动qwen32b的模型：services:# vllmports:volumes:command: >--modeldeploy:resources:devices:ipc: hostnetworks:vllm:??it/s]

			
		

	





	

		

			

				
					
如何使用vLLM部署DeepSeek V2 Lite模型

				
			

			

				

					m0_59235699的博客
				

				

					08-24
					
					1万+
					
				

			

		

		

			
				
本文主要记录了我在RTX 4080Ti上部署DeepSeek V2 16B模型的过程。希望给大家一个参考，更多的参数还得看vLLM官方文档。此外，对于DeepSeek V2模型，它使用的MLA( Multi-head Latent Attention)目前vLLM尚未实现，但sglang最近实现了MLA，速度有了比较明显的提升。下一篇我们将会尝试一下。

			
		

	





	

		

			

				
					
vLLM 部署 DeepSeek 大模型避坑指南

				
			

			

				

					weixin_45631123的博客
				

				

					02-16
					
					1454
					
				

			

		

		

			
				
面对原始DeepSeek-R1-32B模型在T4显卡上出现的显存溢出问题，我们可以采取以下创新性的技术措施：知识蒸馏：通过将原本庞大的32B模型压缩至更小巧但依然高效的14B规模，确保了至少95%的原始性能得以保留。混合量化：应用GPTQ 4-bit量化技术，成功地将显存需求从32GB大幅减少到9.8GB，显著提升了模型在T4上的运行效率5。动态卸载：利用vLLM特有的PagedAttention机制，实现了显存与内存之间的智能调度，进一步缓解了显存压力。

			
		

	





	

		

			

				
					
全网唯一！手把手教你 DeepSeek-R1-Distill-Qwen-32B 云端部署 + Dify 配置全攻略

				
			

			

				

					star_nwe的博客
				

				

					02-21
					
					3304
					
				

			

		

		

			
				
Deepseek最近太火了，关于 Deepseek 的文章虽多，但大多局限于 Ollama 部署 Deepseek 这类“玩具”场景，难以满足企业级应用的复杂需求。这些低质量内容往往缺乏深度与实用性，对于追求高效、稳定解决方案的企业而言，犹如隔靴搔痒。而我们的专业团队，始终关注行业前沿动态，凭借对技术趋势的精准把握和深厚的技术积累，迅速捕捉到企业在 Deepseek 应用中的痛点与需求。在极短的时间内，精心打造出这篇文章。

			
		

	





	

		

			

				
					
70Bdeepseek部署 Ubuntu

					
最新发布

				
			

			

				

					03-24
				

			

		

		

			
				
<think>嗯，用户想在Ubuntu系统上部署DeepSeek 70B模型。首先，我需要回忆一下相关的部署步骤。根据之前看到的参考资料，特别是引用[3]，里面提到了在Ubuntu系统使用vLLM来部署这个模型。那应该是个关键点。

首先，系统要求方面，用户需要确保有足够的硬件资源，比如GPU内存。因为模型大小是132GB，所以可能需要多块GPU，比如4块A100 80GB。然后，操作系统是Ubuntu 20.04或22.04，这需要用户确认自己的系统版本是否符合。

接下来是环境准备。安装CUDA和驱动，这里可能需要指导用户安装合适的版本。比如CUDA 11.8或更高，以及对应的NVIDIA驱动。如果用户已经安装过这些，可能需要检查版本是否兼容。另外，安装conda来创建虚拟环境，这样可以隔离依赖，避免冲突。

然后是模型下载。用户需要从Hugging Face获取模型，可能需要使用git lfs，特别是大文件下载。需要提醒用户确保有足够的存储空间，因为模型文件很大。

安装vLLM框架，这个框架可以提升推理效率。引用[3]提到可能遇到CUDA版本问题，这时候可以用conda install cuda来补充依赖。这一步可能需要特别注意，避免CUDA版本不匹配导致的错误。

部署步骤中，编写启动脚本，使用vLLM的API服务启动模型，设置端口和GPU数量。用户可能需要根据实际GPU数量调整tensor-parallel-size参数。

测试服务时，用curl命令发送请求到API，检查是否能正常返回结果。同时，建议用户进行性能优化，比如调整batch_size和启用量化，以提升推理速度。

可能遇到的问题包括CUDA版本不兼容、GPU内存不足、下载中断等。需要给出具体的解决方案，比如调整CUDA版本，使用--no-check-whole-files参数继续下载，或者增加GPU数量。

最后，生成相关问题，帮助用户扩展了解其他部署方式和性能优化方法。这些需要基于已有的知识，比如使用Docker部署或者知识蒸馏，但需要确保这些方法确实可行，或者提示用户可能需要进一步查阅资料。

整个过程中，需要确保步骤清晰，用户能够一步步跟随操作，同时预见到可能的问题并提供解决办法。另外，注意引用相关的参考资料，比如引用[3]中的conda安装cuda的方法，这样用户知道这些建议的来源可靠。</think>### Ubuntu系统中部署DeepSeek 70B模型分步指南

#### 一、系统要求
1. **硬件配置**
   - GPU：至少4块NVIDIA A100 80GB（需启用NVLink）
   - 内存：256GB以上系统内存
   - 存储：500GB SSD（模型文件约132GB）
2. **软件环境**
   - Ubuntu 20.04/22.04 LTS
   - CUDA 11.8+ / cuDNN 8.6+
   - Python 3.9+
   - Docker 20.10+（可选）

#### 二、部署流程
1. **环境准备**
   ```bash
   # 安装CUDA工具包
   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
   sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
   sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
   sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
   sudo apt-get install cuda-11-8

   # 创建conda环境
   conda create -n deepseek python=3.9
   conda activate deepseek
   ```

2. **模型下载**
   ```bash
   # 安装git-lfs
   sudo apt-get install git-lfs
   git lfs install

   # 下载模型文件
   git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-70B
   ```

3. **安装vLLM框架**
   ```bash
   # 安装依赖（注意CUDA版本匹配）
   pip install vllm==0.2.6
   conda install cuda -c nvidia  # 补充CUDA依赖[^3]
   ```

4. **启动推理服务**
   ```python
   # start_server.py
   from vllm import LLM, SamplingParams

   llm = LLM(
       model="DeepSeek-R1-Distill-Llama-70B",
       tensor_parallel_size=4,  # 对应GPU数量
       gpu_memory_utilization=0.9
   )
   ```

   ```bash
   # 启动API服务
   python -m vllm.entrypoints.api_server \
       --model DeepSeek-R1-Distill-Llama-70B \
       --port 8000 \
       --tensor-parallel-size 4
   ```

#### 三、验证部署
```bash
# 发送测试请求
curl http://localhost:8000/generate \
    -d '{
        "prompt": "中国的首都是哪里？",
        "max_tokens": 50,
        "temperature": 0.7
    }'
```

#### 四、常见问题解决
1. **CUDA版本不匹配**
   ```bash
   # 查看CUDA版本
   nvcc --version

   # 若需降级版本
   conda install cudatoolkit=11.8 -c nvidia
   ```

2. **GPU内存不足**
   ```bash
   # 调整并行策略
   --tensor-parallel-size 8  # 增加GPU数量
   --block-size 16  # 减小内存块尺寸
   ```

3. **模型下载中断**
   ```bash
   git lfs pull -I "*.bin"  # 断点续传
   git lfs install --skip-smudge  # 跳过校验
   ```

#### 五、性能优化建议
1. **启用量化推理**
   ```python
   llm = LLM(
       model=model_path,
       quantization="awq",
       enforce_eager=True
   )
   ```

2. **批处理优化**
   ```python
   sampling_params = SamplingParams(
       temperature=0.7,
       top_p=0.9,
       max_tokens=256,
       batch_size=16  # 增大批处理量
   )
   ```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值