浦语提示词工程实践

浦语提示词工程实践

首先还是创建我们的开发机
具体流程略

环境配置

# 创建虚拟环境
conda create -n langgpt python=3.10 -y

然后激活我们的虚拟环境

conda activate langgpt

然后,我们需要安装一点必要的Python的第三方包

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

创建项目路径

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt

安装必须的软件

apt-get install tmux

然后,模型部署

如果使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型

如果不使用开发机，可以从huggingface上获取模型，地址为：https://huggingface.co/internlm/internlm2-chat-1_8b

也可以使用下载脚本

from huggingface_hub import login, snapshot_download
import os

os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

login(token=“your_access_token")

models = ["internlm/internlm2-chat-1_8b"]

for model in models:
    try:
        snapshot_download(repo_id=model,local_dir="langgpt/internlm2-chat-1_8b")
    except Exception as e:
        print(e)
        pass

部署模型为OpenAI server

接下来,我们要把进程放在持续后台上
执行下bash

tmux new -t langgpt

创建完成后，运行下面的命令进入新的命令窗口(首次创建自动进入，之后需要连接)：

tmux a -t langgpt

使用LMDeploy进行部署，参考如下命令：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

图形化界面调用

InternLM部署完成后，可利用提供的chat_ui.py创建图形化界面，在实战营项目的tools项目中。

git clone https://github.com/InternLM/Tutorial.git

再进入项目路径

cd Tutorial/tools

然后运行项目

python -m streamlit run chat_ui.py