第五节---LMDeploy 的量化

学习地址：https://github.com/InternLM/Tutorial/blob/main/lmdeploy/lmdeploy.md

大模型部署的背景在于，将训练好的深度学习模型在特定环境中进行运作是一个极具挑战性的过程，主要面临着计算量庞大、内存消耗高、存在访存密集瓶颈以及动态请求等问题

大模型部署的方法包括模型剪枝、知识蒸馏（如上下文学习、思维链、指令跟随等）以及量化（如量化感知训练、量化感知微调、训练后量化等）

LMDeploy 是一个综合性的解决方案，涵盖了 LLM 任务的整套轻量化、部署和服务方案，其核心功能包括 chat、lite 和 serve

只完成基础任务，后续没有进行进阶