0.1 环境配置
根据文档,完成需要的环境搭建
0.2 创建项目路径
## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
0.3 安装必要软件
apt-get install tmux
1. 模型部署
使用intern-studio开发机,可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
下找到模型
1.2 部署模型为OpenAI server
tmux new -t langgpt
tmux a -t langgpt
需要将环境切换到环境配置时,搭建好的环境:
conda activate ****
使用LMDeploy进行部署,参考如下命令:
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
1.3 图形化界面调用
InternLM部署完成后,打开新的cmd窗口,可利用提供的chat_ui.py
创建图形化界面,在实战营项目的tools项目中。
git clone https://github.com/InternLM/Tutorial.git
# 下载完成后,运行如下命令进入项目所在的路径:
cd Tutorial/tools
# 进入正确路径后,运行如下脚本运行项目:
python -m streamlit run chat_ui.py
# 本地终端中输入映射命令
ssh -p {ssh端口,从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no
之前已配置开发机公钥,上面这一步是将开发机上的8501(web界面占用的端口)映射到本地机器的端口,之后可以访问http://localhost:7860/打开界面。
启动后界面如下:
编写完LangGPT提示词后,可以将其作为系统提示,也可直接作为交互式对话的输入。推荐作为系统提示。