基础岛——8G 显存玩转书生大模型 Demo

一、基础任务

使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图

1.创建开发机

2.激活conda环境

3.创建目录存放代码

4.在cli-demo.py文件中粘贴代码

5.运行python文件

6.生成小故事

二、基础任务

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

1.克隆教程仓库到本地

2.启动一个 Streamlit 服务

三、进阶任务

LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型

InternLM-XComposer2-VL-1.8B 是基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。

LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包，具体功能为：

1. 高效推理
2. 有效量化
3. 轻松分发
4. 交互式推理模式
5. 优秀的兼容性

使用 LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型。

激活环境，安装依赖

出现连接错误，下载文件更改名称，放置到指定目录