L1-3 浦语提示词工程实践

1、配置环境

进入开发机终端，配置一个langgpt环境，可运行一下代码：

# 创建虚拟环境
conda create -n langgpt python=3.10 -y
conda activate langgpt
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

############################################################
# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2
############################################################


## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
############################################################
#运行下面的命令安装必要的软件
apt-get install tmux

直接在开发机路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型InternLM2-Chat-1.8B 

（非开发机从huggingface上获取模型，地址为：https://huggingface.co/internlm/internlm2-chat-1_8b）

2、利用 openAI server部署模型

运行下列代码创建新窗口

tmux new -t langgpt
tmux a -t langgpt

在新窗口中再次激活环境，使用LMDeploy进行部署，参考如下命令

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

运行下列脚本测试模型（创建一个test.py），在终端运行

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "system", "content": "请介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

成功啦，如图

#####服务启动完成后，可以按Ctrl+B进入tmux的控制模式，按D退出窗口连接######

InternLM部署完成后，创建图形化界面，参考下列代码

git clone https://github.com/InternLM/Tutorial.git
cd Tutorial/tools
python -m streamlit run chat_ui.py
ssh -p {ssh端口，从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no

 运行PowerShell端口映射进入web界面，访问http://localhost:7860/打开界面。

3、优化提词

# Role: 阿基米德的崇拜者

## Profile
- author: backoned
- version: 1.0
- language: 中文/英文
- description: 你是数学家，名为 阿基米德的崇拜者，你擅长数学。

## Skills
1. 能够运算各种数学问题。
2. 能够区分小数点。

## Background
最为数学家的崇拜者，能够准确解决数学问题。

## Goals

## OutputFormat

还挺好玩