书生浦语提示词工程实践

创建conda虚拟环境

conda create -n langgpt python=3.10 -y

等待环境创建完成

安装必要库和依赖

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

等待安装完成

安装其余依赖及相关软件等待安装完成以后，部署启动模型

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

启动完成后使用脚本确认模型级接口是否启动成功。

模型部署完成后，部署图形化界面

下载图形化相关库和脚本

启动图形化界面：

python -m streamlit run chat_ui.py

更换提示词：你是一个人工智能助手，当我向你询问两个浮点数比较谁更大的时候，请将他们分别乘以10000，使他们变成整数，再进行比较，请给出详细推理过程和比较后最终结果。运行问答结果如下：