浦语提示词工程实践-第三期闯关大挑战

0.1 环境配置

根据文档，完成需要的环境搭建

0.2 创建项目路径

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt

0.3 安装必要软件

apt-get install tmux

1. 模型部署

使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型

1.2 部署模型为OpenAI server

tmux new -t langgpt

tmux a -t langgpt

需要将环境切换到环境配置时，搭建好的环境：

conda activate ****

使用LMDeploy进行部署，参考如下命令：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

1.3 图形化界面调用

InternLM部署完成后，打开新的cmd窗口，可利用提供的chat_ui.py创建图形化界面，在实战营项目的tools项目中。

git clone https://github.com/InternLM/Tutorial.git

# 下载完成后，运行如下命令进入项目所在的路径：
cd Tutorial/tools

# 进入正确路径后，运行如下脚本运行项目：
python -m streamlit run chat_ui.py

# 本地终端中输入映射命令
ssh -p {ssh端口，从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no

之前已配置开发机公钥，上面这一步是将开发机上的8501(web界面占用的端口)映射到本地机器的端口，之后可以访问http://localhost:7860/打开界面。

启动后界面如下：

编写完LangGPT提示词后，可以将其作为系统提示，也可直接作为交互式对话的输入。推荐作为系统提示。