浦语提示词工程实践

1. 环境配置

# 创建虚拟环境
conda create -n demo python=3.10 -y
conda activate demo 

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

运行如下命令创建并打开项目路径：

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt

安装tmux

apt-get install tmux

2.模型部署

我使用的是intern-studio开发机，因此可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型，如果是自己的服务器，可以按照以下代码获取：

from huggingface_hub import login, snapshot_download
import os

os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

login(token=“your_access_token")

models = ["internlm/internlm2-chat-1_8b"]

for model in models:
    try:
        snapshot_download(repo_id=model,local_dir="langgpt/internlm2-chat-1_8b")
    except Exception as e:
        print(e)
        pass

部署模型为openai_server

新建一个tmux窗口：

tmux new -t langgpt

使用LMDeploy进行部署，参考如下命令：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

得到如下：

测试是否部署成功，创建一个test.py文件，然后输入：

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "system", "content": "请介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

然后运行，得到如下输出，则表明部署成功：

图形化部署

下载相关资源：

git clone https://github.com/InternLM/Tutorial.git

进入到Tutorial/tools文件夹中，然后运行：

python -m streamlit run chat_ui.py

值得注意的是，这时候，我们需要将8501端口转发到本地电脑上。

我们将端口8051端口映射到本地电脑的8501端口，然后在浏览器中访问本地的8501端口即可

LangGPT提示之前：

​

经过LangGPT提示之后

​