轻松玩转书生·浦语大模型趣味 Demo

1.什么是大模型

        人工智能领域中参数数量巨大、拥有庞大计算和参数规模的模型。

特点及应用:

        利用大量数据进行训练

        拥有数十亿甚至数千亿个参数

        模型在各种任务中展现出惊人的性能

InternLM

        开源的轻量级训练框架，支持大模型训练无需大量的依赖。

        Lagent是一个轻量级、开源的基于大语言模型的智能体框架，用户可以快速地将一个大模型转变为多中类型的智能体。通过Lagent框架可以更好的发挥InternLM模型的全部性能。

2.InternLM-Chat-7B智能对话Demo

2.1 模型介绍

        通过单一的代码库，InterLM支持在拥有数千GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现理卓越的性能优化。

2.2 模型特点：

        1.利用数万亿的高质量token进行训练，建立了一个强大的知识库。

        2.支持8k token的上下文窗口长度，使得输入序列更长并增强了推理能力。

3 Lagent介绍

        lagent是一个轻量级、开源的基于大语言模型的智能日（agent）框架，用户可以快速得将一个大语言模型转变为多种类型的智能体，并提供了一些典形工具为大语言模型赋能。

4.浦语·灵笔图文创作理解Demo

        InternLM-Xcomposer-7B介绍

                1.为用户打造图文并貌的专属文章

                2.设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。

5.通用环境配置

5.1 pip、conda换源

5.1.1 pip 换源

临时使用镜像源安装

​
​
  pip install -i Simple Index some-package

​

​

       

设置pip默认镜像源，升级 pip 到最新的版本 (>=10.0.0) 后进行配置

​
python -m pip install --upgrade pip

pip config set global.index-url Simple Index

​

临时使用镜像源升级 pip

​
python -m pip install -i Simple Index --upgrade pip

​

5.1.2 conda 换源

镜像站提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch 等），各系统都可以通过修改用户目录下的 .condarc 文件来使用镜像站。

5.2 配置本地端口

配置一下本地的 SSH Key

步骤①：在本地机器上打开 Power Shell 终端。在终端中，运行以下命令来生成 SSH 密钥对：（如下图所示）

步骤②： 您将被提示选择密钥文件的保存位置，默认情况下是在 ~/.ssh/ 目录中。按 Enter 键接受默认值或输入自定义路径。

步骤③：公钥默认存储在 ~/.ssh/id_rsa.pub，可以通过系统自带的 cat 工具查看文件内容

步骤④：将公钥复制到剪贴板中，然后回到 InternStudio 控制台，点击配置 SSH Key。

步骤⑤：将刚刚复制的公钥添加进入即可。

步骤⑥：在本地终端输入以下指令 .6006 是在服务器中打开的端口，而 33090 是根据开发机的端口进行更改。

5.3 模型下载

5.3.1 Hugging Face

用 Hugging Face 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建 python 文件，填入以下代码，运行即可。

• resume-download：断点续下
• local-dir：本地存储路径。（linux 环境下需要填写绝对路径）

import os



# 下载模型

os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

以下内容将展示使用 huggingface_hub 下载模型中的部分文件

 

import os



# 下载模型

os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

5.3.2 ModelScope

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

安装依赖：

pip install modelscope==1.9.5

pip install transformers==4.35.2

在当前目录下新建 python 文件，填入以下代码，运行即可。

import torch

from modelscope import snapshot_download, AutoModel, AutoTokenizer

import os

model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

5.3.3 OpenXLab

OpenXLab 可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件。

使用python脚本下载模型首先要安装依赖，安装代码如下：pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。

from openxlab.model import download

download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')