书生·浦语--（五）LMDeploy 量化部署 LLM-VLM 实践（基础作业）

LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。

模型部署
1. 配置LMDeploy运行环境

1.1创建开发机
    在InternStudio平台，创建开发机

1.2创建conda环境
    点击左上角图标，切换为终端(Terminal)模式

    InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy的环境：

studio-conda -t lmdeploy -o pytorch-2.1.2

按照上述步骤之后即可得到预训练好的internlm2-chat-1_8b模型。

2、LMdeploy模型对话
Transformer库是Huggingface社区推出的用于运行HF模型的官方库。

首先通过Transformer库运行模型。

然后通过LMdeploy的方式部署并运行模型。

三、LMdeploy模型量化
模型的量化主要包括 KV8量化和W4A16量化。总的来说，量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。

正式介绍 LM