书生浦语训练营第2期-第5节作业

最新推荐文章于 2024-06-21 14:01:58 发布

ColorKin

最新推荐文章于 2024-06-21 14:01:58 发布

阅读量878

点赞数 8

分类专栏：书生浦语训练营2期文章标签：学习大模型

本文链接：https://blog.csdn.net/ColorKin/article/details/138083744

版权

书生浦语训练营2期专栏收录该内容

12 篇文章 0 订阅

订阅专栏

一、基础作业

1.1 LMDeploy环境部署

（1）创建conda环境

studio-conda -t lmdeploy -o pytorch-2.1.2

（2）安装Lmdeploy

激活刚刚创建的虚拟环境。
conda activate lmdeploy
安装0.3.0版本的lmdeploy。
pip install lmdeploy[all]==0.3.0

1.2 以命令行方式与 InternLM2-Chat-1.8B 模型对话

1.2.1 使用Transformer库运行模型

（1）软链接模型

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

（2）新建pipeline_transformer.py

touch /root/pipeline_transformer.py

（3）编辑pipeline_transformer.py

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("/root/internlm2-chat-1_8b", trust_remote_code=True)

# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("/root/internlm2-chat-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

inp = "hello"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=[])
print("[OUTPUT]", response)

inp = "please provide three suggestions about time management"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=history)
print("[OUTPUT]", response)

（4）运行

python /root/pipeline_transformer.py

1.2.2 使用LMDeploy与模型对话

lmdeploy chat /root/internlm2-chat-1_8b

二、进阶作业-LMDeploy模型量化

2.1 设置最大KV Cache缓存大小

（1）0.8 参数

lmdeploy chat /root/internlm2-chat-1_8b

（2）0.5参数

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.5

（3）0.01参数

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.01

（4）作业-0.4参数

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.4

2.2 API Server方式

（1）启动API服务器

lmdeploy serve api_server \
    /root/internlm2-chat-1_8b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 127.0.0.1 \
    --server-port 23333 \
    --tp 1