InternLM2-1.8B 本地部署

前言

此部署教程基于NVIDIA RTX 4070，显存12G。轻度测试，完全无压力。官方介绍中说，InterLM2-1.8B仅需4GB显存的笔记本显卡即可顺畅运行；拥有8G显存的消费级显卡，即可进行1.8B模型的微调工作。

一、创建环境及安装依赖

1、创建环境

conda create --name InternLM python=3.10

2、安装Pytorch

 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3、安装依赖

# 升级pip
python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

二、模型下载

1、权重下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

创建一个 DOWNLOAD.py 文件，输入如下内容：

import torch  
from modelscope import snapshot_download, AutoModel, AutoTokenizer


import os  
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-1_8b', cache_dir='./test', revision='master')

在上一步创建的环境中，运行 DOWNLOAD.py文件。等待下载即可，大约需要十分钟左右。

2、源码下载

git clone https://github.com/InternLM/InternLM.git

通过 ctrl+F 快捷键来查找 load_model ,修改 chat\web_demo.py 。

将 model与 tokenizer中的 path_to_weights修改为下载的权重文件路径。

三、Web_demo运行

1、运行指令

streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006

模型权重加载完成后即可在浏览器进行对话了。

在浏览器中输入 127.0.0.1:6006

因为仅修改了权重路径，所以演示图中显示的仍未 InternLM2-Chat-7B

参考链接

1. self-llm/InternLM/03-InternLM-Chat-7B.md at master · datawhalechina/self-llm (github.com)
2. https://github.com/InternLM/InternLM