书生大模型Demo
实践是最好的老师;
1 大模型InternLM介绍
大模型:AI中参数数量巨大,消耗巨大计算资源的模型;
特点:1.利用大量数据训练;
2.拥有数十亿及以上的参数;
3.在较为通用任务重展示出良好性能;
在InternLM模型全链条开源中 概念介绍:
- InternLM是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖;基于InternLM训练框架,两个开源的预训练模型:InternLM-7B和InternLM-20B;
- Lagent是一个轻量级、开源的基于大语言模型的智能体(agent)框架;通过Lagent可以更好的发挥InternLM模型的全部性能;
- 浦语 灵笔是基于书生大语言模型开发的视觉语言大模型,有出色的图文理解和创作能力,可以创作一篇图文推文。
2 Demo
2.1 InternLM-Chat-7B智能对话Demo
模型介绍:InternLM支持在数千个GPU的大型集群上进行预训练,并在单个GPU上进行微调,实现性能优化。
2.1.1 环境配置
1.pip 更新和换国内源;–老生常谈;update and upgrade
2.clone pytorch env and activate internlm-demo
3.install the dependency needed by demo to run
2.1.2 模型下载
可以直接从github上clone,在这里已经事先准备好了,直接copy即可。
#激活环境
conda activate internlm-demo
#upgrade pip and install dependency
2.1.3 代码准备
clone code
cd /root/code
git clone https://xxx//xx/xx
2.1.4 运行Demo
1.终端运行
在上面git clone的InternLM目录下新建一个cli_demo.py文件,放入脚本;
python ./cli_demo.py
由于cli_demo的缺陷,导致input text只能特定支持逗号分隔符,否则就会报错。
不断交互去训练它,所以prompt很重要;
2.Web运行
本地映射服务器的端口,通过SSH隧道技术;
一定要SSH -L 连接远程,-L参数允许端口转发;
2.2 Lagent智能体工具调用Demo
Lagent是一个轻量级开源的大语言模型的智能体(agent)框架,快速地讲一个大语言模型转变为多种类型的智能体,提供典型工具进行模型赋能。
2.3 浦语 灵笔图文创作理解Demo
InternLM-XCcomposer
1.激活环境:conda activate xcomposer-demo
2.下载对应模型:internlm-xcomposer-7b模型
由于是直接在服务器里面直接使用大模型,在这里是直接mkdir,然后copy;
主流常用下载的方式:使用modelscope来下载模型
pip install modelscope==1.9.5
#touch a dedicated download.py,and python download.py
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-xcomposer-7b', cache_dir='/root/model', revision='master')
3.代码准备
在 /root/code git clone InternLM-XComposer仓库的代码
git clone
4.Demo运行
在终端运行代码
然后再本地http://127.0.0.0:6006
3 作业
3.1 使用模型生成300字小故事
3.2 Lagent工具调用Demo创作部署
查看消耗显存程序的命令:
vgpu-smi
3.3 灵笔模型的图文理解及创作部署
给出提示词进行图文创作,还是非常的给力;
首先以examples的提示词:
2.自己想一个词:又见南京步行街