【大模型】书生·浦语大模型实战营第二节-CSDN博客

本文链接：https://blog.csdn.net/weixin_43193528/article/details/135447175

书生·浦语大模型实战营第二节

轻松玩转书生·浦语大模型趣味Demo
- 目录

轻松玩转书生·浦语大模型趣味Demo

请添加图片描述
by 宋志学 | d2l-ai-solutions-manual 开源项目负责人

InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B和InternLM-20B。
Lagent是一个轻量级、开源的基于大语言模型的智能体（agent）框架，用户可以快速地讲一个大语言模型转变为多种类型的智能体。通过Lagent框架可以更好的发挥InternLM模型的全部性能。
浦语·灵笔是基于书生·浦语大语言模型研发的视觉·语言大模型，有着出色的图文理解和创作能力，使用浦语·灵笔大模型可以轻松的创作一篇图文推文。

2. InternLM-Chat-7B智能对话 Demo

请添加图片描述

模型介绍

通过单一的代码库，InternLM支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU上训练时，InternLM可以实现近90%的加速效率。
InternLM-7B包含了一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有以下特点：

利用数万亿的高质量token进行训练，建立了一个强大的知识库。
支持8k token的上下文窗口长度，使得输入序列更长并增强了推理能力。

3. Lagent智能体工具调用 Demo

请添加图片描述

Lagent介绍

Lagent是一个轻量级、开源的给予大语言模型的智能体（agent）框架，用户可以快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

4. 浦语·灵笔图文创作理解 Demo

请添加图片描述

InternLM-Xcomposer-7B介绍

浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，具有多项优势：

为用户打造图文并茂的专属文章。
设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。

5. 通用环境配置

请添加图片描述

pip、conda换源

pip换源设置 pip默认镜像源，升级pip到最新的版本（》=10.0.0）后进行配置，如下所示：

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple

conda快速换源

cat <<'EOF' > ~/.condarc
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF

请添加图片描述

模型下载

HuggingFace 下载使用
HuggingFace官方提供的huggingface-cli命令行工具。
安装依赖：

pip install -U huggingface_hub
huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path

请添加图片描述

模型下载

OpenXLab 可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件。使用python脚本下载模型首先要安装依赖，安装代码如下：pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。
将以下代码写入Python文件，运行即可。

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')

请添加图片描述

模型下载

使用modelscope中的snapshot_download函数下载模型，第一个参数为模型名称，参数cache_dir为模型的下载路径。首先安装依赖：

pip install modelscope
pip install transformers

在当前目录下载新建python文件，填入以下代码，运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')