使用Intern Studio进行部署开发,详细教程参考:https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md
一、Demo one:部署 InternLM2-Chat-1.8B
模型进行智能对话
环境配置:
studio-conda -o internlm-base -t demo
# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y
# conda activate demo
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
下载模型
加载模型
创作一个 300 字的小故事
二、下载 InternLM2-Chat-7B
的 config.json
文件到本地
安装依赖
下载 config.json
三、部署实战营优秀作品 八戒-Chat-1.8B
模型
配置基础环境
下载模型
运行模型
四、使用 Lagent
运行 InternLM2-Chat-7B
模型
下载 Lagent 相关的代码库
使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体
五、实践部署 浦语·灵笔2
模型
配置环境下载资源
这里出现了一个错误,triton 需要的 huggingface_hub的版本不对,我查了一下安装的依赖中没有 triton,索性就没管它。
运行模型
六、图片理解实战