1.大模型及InternLM模型介绍
- 大模型是指在人工智能领域中网络参数数量巨大、拥有庞大的计算能力和参数规模的模型。
通常得到一个大模型我们需要收集海量的数据进行训练,得到拥有数十亿甚至数千亿参数的网络模型,大模型在迈向通用人工智能中具有不错的表现。
- InternLM是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖。
基于InternLM训练框架,上海人工智能实验室目前已经开源了两个预训练模型,分别是InternLM-7B(轻量级)和InternLM-20B(中量级)。
- InternLM-Chat-7B智能对话Demo
InternLM-7B包含一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有以下特点:
1)利用数万亿的高质量token进行训练,建立了一个强大的知识库。
2)支持8k token的上下文窗口长度,使得输入序列更长并增强了推理能力。
- Lagent介绍
Lagent是一个轻量级、开源的基于大语言模型的智能体框架,用户可以快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。整体架构如下图所示:
4. 浦语·灵笔图文创作理解Demo
浦语·灵笔是基于书生浦语大语言模型研发的视觉-语言大模型,提供出色的图文理解和创作能力,具又以下优势:
1)可以为用户打造图文并茂的专属文章。
2)设计了更加啊高效的训练策略,为模型注入了海量的多模态概念和知识数据,赋予了其强大的图文理解和对话能力。
- 通用环境配置
1)pip换源
python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple
2)conda换源
cat <<'EOF'> ~/.condarc
channels:
-defaults
show_channel_urls:true
default channels:
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF
3)模型下载
- Hugging Face下载使用Hugging Face官方提供的huggingface-cli命令行工具。
pip install -U huggingface_hub
huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path
- ModelScope中的snapshot_download函数下载模型
# 安装依赖
pip install modelscope
pip install transformers
# 新建Python文件,填入以下代码运行
import torch
from modelscope import snapshot download,AutoModel,AutoTokenizer
import os
model_dir snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b',cache_dir='your path',revision='master')