书生作业：LMDeploy

自己随便说几句。

关于模型部署，很有趣的一件事就是，它一路随着深度学习训练一起发展，尽管例如tensorrt等工具的出现，不断试图降低部署门槛，但是实际上，每一次AI的升级，似乎让这个细分领域没有因为工具易用性的提高而萎缩，反而量化，蒸馏，各个细分领域开支散叶。你说未来的模型部署是什么样呢？

作业链接：Tutorial/lmdeploy/homework.md at camp2 · InternLM/Tutorial · GitHub

LLDeploy项目链接： GitHub - InternLM/lmdeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

项目纵览

看一下repo的更新日志可以看到：

支持的模型种类很多，提到的就包括：

Qwen-7B， Qwen1.5-MOE and dbrx.Baichuan2-7B， Qwen 1.5, Gemma, Mistral, Mixtral, Deepseek-MOE， LLama 1--3