搭建DeepSeek-V2-Lite-Chat

纯简单记录

下载模型

vim download.py

from modelscope.hub.snapshot_download import snapshot_download

model_dir1 = snapshot_download('deepseek-ai/DeepSeek-V2-Lite-Chat', cache_dir='/zzzz/xxx/yyyy')  # cache_dir填下你想下载到的目标目录

python download.py执行下载，下载流程如下，

源文件地址：https://huggingface.co/deepseek-ai/DeepSeek-V2-Lite-Chat/tree/main
大概37GB左右大小

模型加载 llama factory

我使用之前搭建好的llama factory加载
选好模型名称和填好模型在服务器上地址即可


fp16显存大概占用37GB左右

模型加载text-generation-webui

将 模型目录DeepSeek-V2-Lite-Chat移动到text-generation-webui的根目录下的models下面

然后启动text-generation-webui

CUDA_VISIBLE_DEVICES=3 python server.py --listen --trust-remote-code

然后浏览器打开 http://yourip:7860

然后切换到Chat的tab页面，使用如下

此时显卡所占显存如下