【浦语开源】深入探索：大模型全链路开源组件 InternLM & Lagent，打造灵笔Demo实战指南

一、准备工作：

1、环境配置：

pip、conda换源：

pip临时换源：

pip install -i https://mirrors.cernet.edu.cn/pypi/web/simple some-package

# 这里的“https://mirrors.cernet.edu.cn/pypi/web/simple”是所换的源，“some-package”是你需要安装的包

设置pip默认源，避免每次下载依赖包都要加上一长串的国内源

pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple

conda换源：

镜像站提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch 等），各系统都可以通过修改用户目录下的
.condarc
文件来使用镜像站。

不同系统下的
.condarc
目录如下：

• Linux
  :
  ${HOME}/.condarc
• macOS
  :
  ${HOME}/.condarc
• Windows
  :
  C:\Users\<YourUserName>\.condarc

注意：

• Windows
  用户无法直接创建名为
  .condarc
  的文件，可先执行
  conda config --set show_channel_urls yes
  生成该文件之后再修改。

cat <<'EOF' > ~/.condarc
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF

更多详细内容可移步至
MirrorZ Help
查看

2、模型下载：

Huggingface:

使用 Hugging Face 官方提供的
huggingface-cli
命令行工具。安装依赖:

pip install -U huggingface_hub

安装好依赖包之后，执行以下代码：

import os
from huggingface_hub import hf_hub_download  # Load model directly 

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

# resume-download：断点续下（断网也可继续下载）
# local-dir：本地存储路径。（linux 环境下需要填写绝对路径）

hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")

# repo_id: 模型的名称
# filename: 下载的文件名称

ModelScope:

安装依赖：

pip install modelscope==1.9.5
pip install transformers==4.35.2

安装完成后：

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

# cache_dir:最好写成绝对路径

OpenXLAB:

安装依赖：

pip install -U openxlab

执行代码：

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')

二、InternLM智能对话 Demo：

1、准备硬件设备：显卡

目前显卡比较短缺，各位大佬各显神通吧，这里以
InternStudio
为例

2、进入开发机配置环境：

进入
conda
环境之后，使用以下命令从本地克隆一个已有的
pytorch 2.0.1
的环境，运行时间可能比较长，耐心等待

bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
conda create --name internlm-demo --clone=/root/share/conda_envs/internlm-base

然后用下面命令激活虚拟环境，并安装所需环境：

conda activate internlm-demo


————————————————————————————demo所需的环境依赖
# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

3、模型下载：

根据之前介绍的模型下载的三种方式都可以实现模型的下载，但是速度相对较慢，这里我使用的是
InternStudio
平台的
share
目录下已经为我们准备好的
InternLM
模型。

mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory

4、代码准备：

在
/root
路径下新建
code</