一、Web demo运行
1.以个人电脑window操作系统为例,在power shell终端生成ssh密钥对:
ssh-keygen -t rsa
2.因为密钥默认情况存储下在~/.ssh/目录下,三个回车(更改目录,设置密码,确认密码),这样做的好处是用ssh命令来进行本地终端映射服务器端口时,可以免密登录(这里设置好要稍等一会,有可能会出现一直让你输密码的情况,过一会就好了)
3.公钥默认存储在 ~/.ssh/id_rsa.pub, 用cat命令查看公钥:
cat ~\.ssh\id_rsa.pub
4.将id_rsa.pub里的内容配置服务器中的SSH Key
5.在power shell终端中输入如下指令,‘33090’要改成ssh连接的显卡接口(ssh连接命令里有)
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33090
6.在ssh远程连接服务器的终端里运行python命令,vscode会弹出浏览器选项或者直接在浏览器中输入http://127.0.0.1:6006,浏览器页面会加载出模型交互界面。
二、hugging face 下载功能
1.使用 Hugging Face 官方提供的 huggingface-cli
命令行工具。安装依赖:
pip install -U huggingface_hub
2.设置镜像站
export HF_ENDPOINT=``https://hf-mirror.com
3.新建python文件,用于执行下列指令
import os
from huggingface_hub import hf_hub_download # Load model directly
hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")
三、tutorial + 作业
将书生·浦语的三个大模型Demo放在实战营提供的A100跑,按照书生·浦语大模型趣味Demo 完成如下的三个Demo,效果还可以。
1.InternLM-Chat-7B 智能对话 Demo
这里用户和机器人的头像加载不出来,后来用InternLM-Chat-7B和gpt3.5比较理解一整段代码的能力,InternLM-Chat-7B强一些
2.Lagent 智能体工具调用 Demo
用弱智吧问题调戏了Lagent,嗯,这个智能体还蒙对了一道题~~
3.浦语·灵笔图文理解创作 Demo
图文理解功能不错,图文创作总有不小的概率出现bug:首先我先用较小显存A100跑,图文理解会error,图文创作只会生成几行文字。
接着换了较大显存A100跑,又遇到gradio摆烂导致InternLM-XComposer样式丢失,还好提供的Q&A文档有解决方案,大概是如下情况:
改了下,终于没啥毛病了,图文理解运行流畅,图文创作还是要多提交几次,才能把图片加载出来,个人感觉这方面还要进一步优化。
四、作业
- 使用 InternLM-Chat-7B 模型生成 300 字的小故事(需截图)。
如图1所示。 - 熟悉 hugging face 下载功能,使用 huggingface_hub python 包,下载 InternLM-20B 的 config.json 文件到本地(需截图下载过程)。
- 完成浦语·灵笔的图文理解及创作部署(需截图)
如图5,6所示。 - 完成 Lagent 工具调用 Demo 创作部署(需截图)
如图2,3所示。