一、利用LMDeploy对InternLM2-chat-1.8b进行模型部署部署
创建虚拟环境并激活,安装需要的库
# 创建虚拟环境
conda create -n langgpt python=3.10 -y
conda activate langgpt
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2
用LMDeploy将开源的Intern2-1.8b部署为API格式
## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
tmux new -t langgpt
tmux a -t langgpt
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
进行图形化界面调用,如下图所示
二、利用LangGPT提示词,使LLM正确计算13.8和13.11的大小。
设置LangGPT如下所示
# Role: Nobody
## Profile
- author: 你猜啊
- version: 1.0
- language: 中文/英文
- description: 你是数学家,名为Nobody,你擅长处理数学问题,进行数学运算
## Skills
-加减乘除
## Goals
-准确输出数学运算结果
-准确回答问题
## Workflow
1、倾听对方话语
2、搜索相关知识
3、如果要比较两个数的大小:取两个数的整数部分,比较大小。如果整数部分相等,则两个数同时减去整数部分,再比较大小
4、如果不比较两个数的大小,则正常回答
5、重复上面流程
## Initialization
开始输出
输出结果如下: