InternLM实战营第二期第2节课笔记-轻松分钟玩转书生·浦语大模型趣味 Demo-CSDN博客

本文链接：https://blog.csdn.net/maizijieguida/article/details/139371104

实战营链接：https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

1.部署 `InternLM2-Chat-1.8B` 模型进行智能对话

1.1在 `terminal` 中创建demo环境

studio-conda -o internlm-base -t demo

1.2激活demo环境

conda activate demo

1.3下载依赖包

pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

1.4下载`InternLM2-Chat-1.8B` 模型

mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo

1.5添加cli_demo.py和download_mini.py配置

运行模型

python /root/demo/download_mini.py

conda activate demo
python /root/demo/cli_demo.py

1.6输入对话

2.实战：部署实战营优秀作品 `八戒-Chat-1.8B` 模型

2.1激活demo环境

conda activate demo

2.2下载相关文件

cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
cd /root/Tutorial

2.3下载运行 Chat-八戒 Demo

python /root/Tutorial/helloworld/bajie_download.py

2.4启动web端

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

2.5为解决ssh无法使用密码连接问题，这里用公钥连接

在终端生成SSH密钥

ssh-keygen

cat 工具查看公钥内容

cat ~\.ssh\id_rsa.pub

将公钥复制到InternStudio上

最后连接ssh

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

这样就无需输入密码了。

2.6通过端口对模型进行对话

3.进阶作业实战：开启 30% A100 权限，使用 `Lagent` 运行 `InternLM2-Chat-7B` 模型

3.1激活demo环境

conda activate demo
cd /root/demo

3.2使用 git 命令下载 Lagent 相关的代码库

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

在 terminal 中输入指令，构造软链接快捷访问方式：

cd /root/demo/lagent
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

3.3启动web端

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

3.4本地ssh连接

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

3.5模型对话

结果完全正确

4.进阶作业：开启 50% A100 权限，实践部署 `浦语·灵笔2` 模型

4.1激活demo环境并下载依赖包

conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

4.2下载 InternLM-XComposer 仓库相关的代码资源

cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

在 terminal 中输入指令，构造软链接快捷访问方式：

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

4.3启动 `InternLM-XComposer`

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

4.4本地ssh连接

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

4.5图文写作

4.6图片理解

启动 InternLM-XComposer2-vl

conda activate demo

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006