【书生·浦语】大模型实战营——浦语大模型趣味Demo

​​​

目录

大模型及InternLM模型介绍

环境配置

InternLM-Chat-7B 智能对话 Demo

Lagent 智能体工具调用 Demo

浦语·灵笔图文创作理解 Demo

通用环境配置

---

大模型及InternLM模型介绍

        大模型是指人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。其主要特点包括：

• 利用大量数据进行训练；
• 拥有数十亿甚至数千亿个参数；
• 模型在各种任务中展现出惊人的性能；

        InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。

环境配置

1. 选择合适的开发机配置，进入开发机；
2. 配置虚拟环境，安装虚拟环境并配置demo所需要的依赖；
3. 模型下载，可以从本地复制、huggingface、ModelScope获取；
4. 下载相应代码并修改相关代码；
5. 如果要开web 端口，需要配置本地端口；

InternLM-Chat-7B 智能对话 Demo

        InternLm-7B 包含了一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。具有以下特点：

1. 利用数万亿的高质量token进行训练，建立了一个强大的知识库；
2. 支持8k token的上下文窗口长度，使得输入序列更长并增强了推理能力

     运行结果：

Lagent 智能体工具调用 Demo

        Lagent是一个轻量级、开源的基于大语言模型的智能体（agent）框架，用户可以快速将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。其架构图如下图所示：

        运行结果:

浦语·灵笔图文创作理解 Demo

        浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，可提供出色的图文理解和创作能力，具有以下优势：

1. 为用户打造图文并茂的专属文章；
2. 设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力

运行结果：（生成图文已经很强了，还能替换图片，开眼界了）

通用环境配置

1. pip 换源

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple

2. conda 换源

        需要修改.condarc文件内容

不同系统下的.condarc 的目录如下：

• Linux: ${HOME}/.condarc
• macOS: ${HOME}/.condarc
• Windows: C:\Users\<YourUserName>\.condarc

注意：Windows 用户无法直接创建名为 .condarc 的文件，可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。

        执行以下代码：

cat <<'EOF' > ~/.condarc
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF

3. 模型下载

•  HuggingFace Hub

pip install -U huggingface_hub


# 方法1
import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')


# 方法2
from huggingface_hub import hf_hub_download  # Load model directly 
hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json",local_dir="your path")

• ModelScope

pip install modelscope==1.9.5
pip install transformers==4.35.2


from modelscope import snapshot_download, AutoModel, AutoTokenizer
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

• OpenXLab

pip install -U openxlab


from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')

       下载模型时可以使用指令

export HF_ENDPOINT=https://hf-mirror.com