创建conda虚拟环境
conda create -n langgpt python=3.10 -y
等待环境创建完成
安装必要库和依赖
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2
等待安装完成
安装其余依赖及相关软件等待安装完成以后,部署启动模型
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
启动完成后使用脚本确认模型级接口是否启动成功。
模型部署完成后,部署图形化界面
下载图形化相关库和脚本
启动图形化界面:
python -m streamlit run chat_ui.py
更换提示词:你是一个人工智能助手,当我向你询问两个浮点数比较谁更大的时候,请将他们分别乘以10000,使他们变成整数,再进行比较,请给出详细推理过程和比较后最终结果。运行问答结果如下: