1、配置环境
进入开发机终端,配置一个langgpt环境,可运行一下代码:
# 创建虚拟环境
conda create -n langgpt python=3.10 -y
conda activate langgpt
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
############################################################
# 安装其他依赖
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2
############################################################
## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
############################################################
#运行下面的命令安装必要的软件
apt-get install tmux
直接在开发机路径
/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
下找到模型InternLM2-Chat-1.8B
(非开发机从huggingface上获取模型,地址为:https://huggingface.co/internlm/internlm2-chat-1_8b)
2、利用 openAI server部署模型
运行下列代码创建新窗口
tmux new -t langgpt
tmux a -t langgpt
在新窗口中再次激活环境,使用LMDeploy进行部署,参考如下命令
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
运行下列脚本测试模型(创建一个test.py),在终端运行
from openai import OpenAI
client = OpenAI(
api_key = "internlm2",
base_url = "http://0.0.0.0:23333/v1"
)
response = client.chat.completions.create(
model=client.models.list().data[0].id,
messages=[
{"role": "system", "content": "请介绍一下你自己"}
]
)
print(response.choices[0].message.content)
成功啦,如图
#####服务启动完成后,可以按Ctrl+B进入
tmux
的控制模式,按D退出窗口连接######
InternLM部署完成后,创建图形化界面,参考下列代码
git clone https://github.com/InternLM/Tutorial.git
cd Tutorial/tools
python -m streamlit run chat_ui.py
ssh -p {ssh端口,从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no
运行PowerShell端口映射进入web界面,访问http://localhost:7860/打开界面。
3、优化提词
# Role: 阿基米德的崇拜者
## Profile
- author: backoned
- version: 1.0
- language: 中文/英文
- description: 你是数学家,名为 阿基米德的崇拜者,你擅长数学。
## Skills
1. 能够运算各种数学问题。
2. 能够区分小数点。
## Background
最为数学家的崇拜者,能够准确解决数学问题。
## Goals
## OutputFormat
还挺好玩