1.什么是大模型
人工智能领域中参数数量巨大、拥有庞大计算和参数规模的模型。
特点及应用:
利用大量数据进行训练
拥有数十亿甚至数千亿个参数
模型在各种任务中展现出惊人的性能
InternLM
开源的轻量级训练框架,支持大模型训练无需大量的依赖。
Lagent是一个轻量级、开源的基于大语言模型的智能体框架,用户可以快速地将一个大模型转变为多中类型的智能体。通过Lagent框架可以更好的发挥InternLM模型的全部性能。
2.InternLM-Chat-7B智能对话Demo
2.1 模型介绍
通过单一的代码库,InterLM支持在拥有数千GPU的大型集群上进行预训练,并在单个GPU上进行微调,同时实现理卓越的性能优化。
2.2 模型特点:
1.利用数万亿的高质量token进行训练,建立了一个强大的知识库。
2.支持8k token的上下文窗口长度,使得输入序列更长并增强了推理能力。
3 Lagent介绍
lagent是一个轻量级、开源的基于大语言模型的智能日(agent)框架,用户可以快速得将一个大语言模型转变为多种类型的智能体,并提供了一些典形工具为大语言模型赋能。
4.浦语·灵笔图文创作理解Demo
InternLM-Xcomposer-7B介绍
1.为用户打造图文并貌的专属文章
2.设计了高效的训练策略,为模型注入海量的多模态概念和知识数据,赋予其强大的图文理解和对话能力。
5.通用环境配置
5.1 pip、conda换源
5.1.1 pip 换源
临时使用镜像源安装
pip install -i Simple Index some-package
设置pip默认镜像源,升级 pip 到最新的版本 (>=10.0.0) 后进行配置
python -m pip install --upgrade pip
pip config set global.index-url Simple Index
临时使用镜像源升级 pip
python -m pip install -i Simple Index --upgrade pip
5.1.2 conda 换源
镜像站提供了 Anaconda 仓库与第三方源(conda-forge、msys2、pytorch 等),各系统都可以通过修改用户目录下的 .condarc 文件来使用镜像站。
5.2 配置本地端口
配置一下本地的 SSH Key
步骤①:在本地机器上打开 Power Shell 终端。在终端中,运行以下命令来生成 SSH 密钥对:(如下图所示)
步骤②: 您将被提示选择密钥文件的保存位置,默认情况下是在 ~/.ssh/ 目录中。按 Enter 键接受默认值或输入自定义路径。
步骤③:公钥默认存储在 ~/.ssh/id_rsa.pub,可以通过系统自带的 cat 工具查看文件内容
步骤④:将公钥复制到剪贴板中,然后回到 InternStudio 控制台,点击配置 SSH Key。
步骤⑤:将刚刚复制的公钥添加进入即可。
步骤⑥:在本地终端输入以下指令 .6006 是在服务器中打开的端口,而 33090 是根据开发机的端口进行更改。
5.3 模型下载
5.3.1 Hugging Face
用 Hugging Face 官方提供的 huggingface-cli 命令行工具。安装依赖:
pip install -U huggingface_hub
然后新建 python 文件,填入以下代码,运行即可。
- resume-download:断点续下
- local-dir:本地存储路径。(linux 环境下需要填写绝对路径)
import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
以下内容将展示使用 huggingface_hub 下载模型中的部分文件
import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
5.3.2 ModelScope
使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。
安装依赖:
pip install modelscope==1.9.5
pip install transformers==4.35.2
在当前目录下新建 python 文件,填入以下代码,运行即可。
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
5.3.3 OpenXLab
OpenXLab 可以通过指定模型仓库的地址,以及需要下载的文件的名称,文件所需下载的位置等,直接下载模型权重文件。
使用python脚本下载模型首先要安装依赖,安装代码如下:pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。
from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')