书生大模型实战营：提示词工程实践

环境创建

使用conda创建环境

激活虚拟环境后，参考官方文档命令，安装相关依赖项

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

安装时间比较久，耐心等待

项目路径创建

环境配置完成后，参考官方文档创建项目路径并激活

mkdir langgpt
cd langgpt

安装tumx

apt-get install tmux

开始模型部署

使用tum创建新命令窗口

tmux new -t langgpt
tmux a -t langgpt

使用LMDeploy进行部署，参考命令，如果这一步出错，需要检查cuda版本与torch版本是否冲突

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

部署成功后如下图

模型调用测试，参考官方在langgpt内新建一个py文件，复制以下代码并运行，查看效果

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "system", "content": "请介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

终端能正常输出大模型的回答，大模型部署成功

图形化界面调用

下载图形化界面工具

git clone https://github.com/InternLM/Tutorial.git

下载后进入tools目录，运行chat_ui.py

python -m streamlit run chat_ui.py

配置端口映射，参考官方文档进行配置

ssh -p {ssh端口，从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no

最终运行效果如下

提示词任务

解决数字3.11和数字3.8比大小的问题

未使用提示词的效果：大模型无法回答

使用提示词后的效果：大模型回答准确无误