基础-2-8G 显存玩转书生大模型 Demo

环境配置

创建一个可用的环境：

# 创建环境

conda create -n demo python=3.10 -y

# 激活环境

conda activate demo

# 安装 torch

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖

pip install transformers==4.38

pip install sentencepiece==0.1.99

pip install einops==0.8.0

pip install protobuf==5.27.2

pip install accelerate==0.33.0

pip install streamlit==1.37.0

Cli Demo 部署 InternLM2-Chat-1.8B 模型

mkdir -p /root/demo

touch /root/demo/cli_demo.py

创建cli_demo.py文件：

通过 python /root/demo/cli_demo.py 启动demo：

让他讲个小故事：

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

把本教程仓库 clone 到本地：

cd /root/demo

git clone GitHub - InternLM/Tutorial: LLM&VLM Tutorial

本地的 PowerShell 中输入：

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 47644

将端口映射到本地（端口为47644）