书生·浦语大模型 - 基础岛 - 第2关 8G 显存玩转书生大模型 Demo

1. 创建开发机

2. 配置环境

接下来开始Cli Demo 部署 InternLM2-Chat-1.8B 模型

3. 创建目录，用于存放代码

4. 将代码复制到cli_demo.py中

5. 通过

python /root/demo/cli_demo.py

启动demo

接下来将会使用Streamlit 部署 InternLM2-Chat-1.8B 模型

6. 把代码clone到本地

cd /root/demo
git clone https://github.com/InternLM/Tutorial.git

然后启动一个 Streamlit 服务

cd /root/demo
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

7. 接下来完成端口映射，完成后就可以在本地使用大模型了。