书生·浦语 第二讲课程笔记

一、创建demo

1、Demo任务列表
本节课可以让同学们实践 4个主要内容，分别是:
·部署nternLM2-Chat-1.88模型进行智能对话
·部署实战营优秀作品 八戒-Chat-1.88模型
·通过 InternLM2-Chat-78运行Lagent智能体Demo
·实践部署（浦语·灵笔2）模型
2、部署 InternLM2-Chat-1.8B模型进行智能对话
①配置基础环境
首先，打开 Entern Studio界面，点击 创建开发机配置开发机系统。

填写发机名称后，点击 选择镜像使用Cuda11.7-conda镜像，然后在资源配置中，使用10% A180*1的选项，然后立即创建开发机器。

如下所示:

 ②进入开发机后，在(terminal中输入环境配置命令(配置环境时间较长，需耐心等待)：

配置代码:

studio-conda -o internlm-base -t demo

#与studio-conda 等效的配置方案

# conda create -n demo python==3.10 -y

#conda activate demo

# conda install pytorch==2.0.1 torchvision==0.15.2

配置完成后，进入到新创建的(conda环境之中）:

conda activate demo

③安装相关环境

可以输入以下命令，完成环境包的安装：

pip install huggingface-hub==0.17.3

pip install transformers==4.34

pip install psutil==5.9.8

pip install accelerate==@.24.1

pip install streamlit==1.32.2

pip install matplotlib==3.8.3

pip install modelscope==1.9.5

pip install sentencepiece==0.1.99

④下载 InternLM2-Chat-1.8B模型

按路径创建文件夹，并进入到对应文件目录中；

 

mkdir -p /root/demo

touch /root/demo/cli_demo.py

touch /root/demo/download_mini.py

cd /root/demo

通过左侧文件夹栏目，双击进入demo文件夹。

双击打开双击打开/root/demo/download_mini.py文件，复制以下代码

import os

from modelscope.hub.snapshot_download import snaps

#创建保存模型目录

os.system("mkdir /root/models")

#save_dir是模型保存到本地的目录

save_dir="/root/models"

snapshot_download("Shanghai_AI_Laboratory/internlm

cache_dir=save_dir,

revision='v1.1.8')

执行命令，下载模型参数文件：

python /root/demo/download_mini.py

输入代码块

while true

input_text = input("\nUser >>>")

input text = input_text.replace(' '，' '）

if input _text == "exit":

break

length =0

for response,_in model.stream_chat(tokenizer

   if response is not None:

print(response[length:], flush=True,e

length = len(response)

 

⑤模型运用

输入命令，执行Demo程序:

conda activate demo

python /root/demo/cli_demo.py

 

等待模型加载完成，键入内容示例:

请创作一个300字的小故事

即可执行运用模型  

 

 

 

 二、实战（进阶，三个例子）

1.八戒chat1.88模型

①模型介绍

②模型下载链接

③环境配置

 

 

 

 

 

2.Lagent运行 InternLM2-Chat-7B模型

注意:开启30%A100权限后才可开启此章节

①初步介绍Lagent 相关知识

②配置环境

③

 

 

 

 

 3.实践部署 浦语·灵笔2模型

注意:开启50%A100权限后才可开启此章节

①初步介绍XComposer2相关知识

浦语·灵笔2是基于（书生·浦语2大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来来其具有:

⑴自由指令输入的图文写作能力:

浦语·灵笔2可以理解目由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。

⑵准确的图文问题解答能力：浦语·灵笔2具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述_觉推理等能力上表和惊人细节描述、视觉推理等能力上表现惊人。

⑶杰出的综合能力：浦语·灵笔2-78基于（书生·浦语2-78模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V和 Gemini Pro. 

②环境配置

③模型启动

两种模式，图文写作，图片理解，注意根据实际情况选择  

 

 

 三，附录掌握一些模型的下载，链接清楚方法等。

掌握一些模型的下载方法，

如:

①使用 Hugging Face官方提供的huggingface-c1i命令行工具安装依赖:pip install -U huggingface_hub

②使用modelscope中的snapshot_download函数下载模型

③0penxLab可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件，使用 download 函数导入核型中心的模型