LMDeploy本地部署轻松玩转DeepSeek

智模睿脑君

已于 2025-01-30 09:07:12 修改

阅读量3.7k

点赞数 21

文章标签：自然语言处理深度学习神经网络目标检测视觉检测人工智能计算机视觉

于 2025-01-30 00:35:50 首次发布

本文链接：https://blog.csdn.net/weixin_41688410/article/details/145391026

版权

前言

LMDeploy 是一个专为大语言模型（LLMs）和视觉-语言模型（VLMs）设计的高效且友好的部署工具箱。它集成了多种先进的技术和功能，有着卓越的推理性能、可靠的量化支持、便捷的服务部署以及极佳的兼容性

一、环境搭建

版本要求,CUDA 11+（>=11.3）,python要求3.8 - 3.12之间.
获取代码,下面2种方法都可以.

1. pip

conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy
pip install lmdeploy

2. git

git clone https://github.com/InternLM/lmdeploy.git
cd lmdeploy
pip install -e .

二、模型准备

1. 下模地址

2. 选模

1，LLM(文本生成)

先来看看全球热度爆表的两款有着性价比之王赞誉的DeepSeek-R1和DeepSeek-V。
在这里插入图片描述

在这里插入图片描述
这两款大小几乎一样，一共切了163块，每块4.3G，还有个别一些事5-6G，总大小超过163*4.3=700.9G.要是企业级应用可以试试，自己玩的话，光下载至少3天，关键硬盘也没那么大，推理的话GPU要求也极高，综上所述，还是先放弃这两款。幸运的是，经过查找发现了一个小一点的，和他们都有血缘关系的deepseek，蒸馏过的1.5B参数的模型。
在这里插入图片描述
这个就很小了，只有3G多了，后面就拿这款测试了。

2，VLM(图像识别)

在这里插入图片描述
哥哥70G左右，弟弟30G，那就用弟弟。

在这里插入图片描述

3，T2I(文生图)

这是一款近期最近发布的,经过多家测评机构,一致认为在文生图的表现已经超过DALL·E 3,而且模型也不大.Janus-Pro-1B大概4G多点. 在这里插入图片描述

3. 下模

1， LLM

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')

2， VLM

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/deepseek-vl2-small')

3， T2I

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/Janus-Pro-1B')

魔塔社区的网站给了下载地址，直接复制到代码即可。
然后安装modelscope包。
唯一注意一点就是包下哪去了。

在这里插入图片描述
主要第一个模型没给参数，一般默认是根目录下.cache文件的modelscope下,如果是从huggingface下的,默认也是在这个目录,同样也会建一个huggingface目录,模型都保存在这里面.
如果不想考来考去,也可以指定下载目录,就是参数中加一个cache_dir,后面跟路径即可.2个模型分别用默认和指定下载,然后看看下哪了.这时候可以去干别的,可以开2个窗口同时下,过会再来看.
在这里插入图片描述

三、推理

1. 代码

只需要把模型路径改位自己的即可,问题可以随便写自己感兴趣的话题.这样,就可以不需要下任何app,不需要上网,本地就可以玩转大模型,也可以部署到自己服务器上.
下面举例演示过程.

1，文本

from lmdeploy import pipeline
pipe = pipeline('/root/autodl-tmp/llm/modelscope/hub/deepseek-ai/DeepSeek-R1-Distill-Qwen-1___5B')
response = pipe(['Hi, pls intro yourself', 'Shanghai is'])
print(response)

也可以使用调用OpenAI格式的prompts形式调用,关于相关更详细的调用,可以参考
https://blog.csdn.net/weixin_41688410/article/details/145378798

from lmdeploy import pipeline, GenerationConfig, TurbomindEngineConfig

backend_config = TurbomindEngineConfig(tp=2)
gen_config = GenerationConfig(top_p=0.8,
                              top_k=40,
                              temperature=0.8,
                              max_new_tokens=1024)
pipe = pipeline('internlm/internlm2_5-7b-chat',backend_config=backend_config)
prompts = [[{
   'role': 'user',
    		'content': 'Hi, pls intro yourself'}],
		  [{
   'role': 'user', 'content': 'Shanghai is'}]]
response = pipe(prompts, gen_config=gen_config)
print(response)

2，视觉

把模型路径，和需要加载的图片换成自己的即可。


from lmdeploy import pipeline
from lmdeploy.vl import load_image

pipe = pipeline('/root/autodl-tmp/llm/deepseek-ai/deepseek-vl2-small')

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response)