InternLM实战营第二节作业和笔记

运行过程详细笔记

1. 配置基础环境

1. 打开 Intern Studio 界面，点击“创建开发机”配置开发机系统。

   • 填写开发机名称。
   • 选择镜像：使用 Cuda11.7-conda 镜像。
   • 资源配置：使用 10% A100 * 1 的选项。
   • 立即创建开发机器。

2. 点击“进入开发机”选项。

3. 在开发机内的 terminal 中输入以下环境配置命令（配置时间较长，需耐心等待）：

   studio-conda -o internlm-base -t demo
   # 等效配置方案
   # conda create -n demo python==3.10 -y
   # conda activate demo
   # conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
   

4. 环境配置完成后，进入到新创建的 conda 环境：

   conda activate demo
   

5. 安装所需的环境包：

   pip install huggingface-hub==0.17.3
   pip install transformers==4.34 
   pip install psutil==5.9.8
   pip install accelerate==0.24.1
   pip install streamlit==1.32.2 
   pip install matplotlib==3.8.3 
   pip install modelscope==1.9.5
   pip install sentencepiece==0.1.99
   

2. 下载 InternLM2-Chat-1.8B 模型

1. 按路径创建文件夹，并进入到对应文件目录中：

   mkdir -p /root/demo
   touch /root/demo/cli_demo.py
   touch /root/demo/download_mini.py
   cd /root/demo
   

2. 通过左侧文件夹栏目，双击进入 demo 文件夹。

3. 双击打开 /root/demo/download_mini.py 文件，复制以下代码：

   import os
   from modelscope.hub.snapshot_download import snapshot_download
   
   # 创建保存模型目录
   os.system("mkdir /root/models")
   
   # save_dir 是模型保存到本地的目录
   save_dir="/root/models"
   
   snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                     cache_dir=save_dir, 
                     revision='v1.1.0')
   

4. 执行命令下载模型参数文件：

   python /root/demo/download_mini.py
   

3. 配置智能对话 Demo

1. 创建和编辑 cli_demo.py 文件，复制以下代码：

   from transformers import AutoModelForCausalLM, AutoTokenizer
   import torch
   
   model_name = "/root/models/internlm2-chat-1_8b"
   
   tokenizer = AutoTokenizer.from_pretrained(model_name)
   model = AutoModelForCausalLM.from_pretrained(model_name)
   
   while True:
       user_input = input("You: ")
       inputs = tokenizer(user_input, return_tensors="pt")
       outputs = model.generate(inputs.input_ids, max_length=50)
       response = tokenizer.decode(outputs[0], skip_special_tokens=True)
       print("Bot:", response)
   

2. 在终端中运行 cli_demo.py，启动智能对话：

   python /root/demo/cli_demo.py
   

4. 部署其他模型和 Demo

• 部署 八戒-Chat-1.8B 模型
• 运行 InternLM2-Chat-7B 的 Lagent 智能体 Demo
• 实践部署 浦语·灵笔2 模型

文档中提供了详细的步骤和配置命令，可参照文档执行。

5. 其他参考内容

文档最后部分提供了使用 Hugging Face、ModelScope、OpenXLab 等工具下载模型的示例代码，以及软链接和终端清除的方法，供参考使用。

作业