【书生·浦语大模型实战营】学习笔记2

Lagent：智能体框架，实现将一个大语言模型转化为多种类型的智能体，更好地发挥InternLM的性能
浦语·灵笔：视觉·语言大模型

InternLM-Chat-7B智能对话Demo

1. 环境准备
   使用复制的internlm-demo环境

# 执行该脚本文件来安装项目实验环境，实验环境名为internlm-demo
bash /root/share/install_conda_env_internlm_base.sh internlm-demo  

2. 模型下载

mkdir -p /root/model/Shanghai_AI_Laboratory
# 直接使用internLM studio开发机中原有的环境
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory 

3. 代码准备
   clone InternLM的代码，修改模型路径为本地模型

4. 终端运行
   运行结果展示如下：
   

5. web-demo的运行

# 运行web_demo代码
streamlit run /root/code/lagent/examples/react_web_demo.py --server.address 127.0.0.1 --server.port 6006

# 映射配置
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33090

运行结果展示如下：

Lagent 智能体工具调用Demo

lagent：轻量级、开源的基于大语言模型的智能体（agent）框架，赋予llm以agent能力

1. 环境准备
   和上面的对话Demo使用相同的镜像环境

2. 模型下载
   和上面的对话Demo使用相同的模型InternLM-chat-7b

3. Lagent安装
   克隆lagent仓库，通过pip install -e .源码安装lagent

4. Demo运行
   使用bash命令运行web_demo

streamlit run /root/code/lagent/examples/react_web_demo.py --server.address 127.0.0.1 --server.port 6006

在web_demo网页上选择internlm作为运行模型

运行结果如下展示：
真的好慢啊！
internlm-chat的原有对话功能丧失了似乎：

数学计算：

解释插入排序：web_demo先展示了插件返回结果，然后再进行了同样的回答

浦语·灵笔图文创作理解Demo

利用internlm-xcomposer-7b模型部署一个图文理解创作demo

1. 环境准备
   利用开发机自带的环境创建脚本创建一个新的conda环境xcomposer-demo
   安装必要的python包

pip install transformers==4.33.1 timm==0.4.12 sentencepiece==0.1.99 gradio==3.44.4 markdown2==2.4.10 xlsxwriter==3.1.2 einops accelerate

2. 模型下载
   复制开发机上的internlm-xcomposer-7b模型
3. 代码准备
   git clone InternLM-XComposer仓库
4. Demo运行
   运行命令为

python examples/web_demo.py  \
    --folder /root/model/Shanghai_AI_Laboratory/internlm-xcomposer-7b 
    --num_gpus 1 \
    --port 6006

说明
我的浦语·灵笔web_demo加载总是有问题，最后也没解决，这里就不放图了
开始是有报这个错误：

然后我按照提示信息下载了对应文件并上传
终端出现Could not create share link. Please check your internet connection or our status page: https://status.gradio.app.错误提示
我在终端运行以下命令：

chmod +x /root/.local/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2

最终运行没有报错，但部署在开发机上的模型却始终没有运行起来有图生文的效果，并且web_demo的logo图片显示get失败，通过浏览器检查看到logo图片的地址，访问提示404

接下来的debug步骤应当是检查源码/重开一个开发机再试一次，因为我把这个demo和task3的langchain-rag弄到同一个A100(1/4)*2的开发机里了，根据我不多的llm相关知识，不确定会不会有环境污染问题，虽然其实是分别的conda环境，不懂！

参考资料

1. 书生·浦语大模型全链路开源体系