一.笔记
1.什么是模型部署
所谓模型部署就是将已经训练好的模型放在特定的环境中运行的过程
2.大模型部署面临的挑战
计算量巨大
内存开销巨大
访问显存困难,写入显存困难
3.模型部署使用的方法
模型剪枝
知识蒸馏
模型量化
4.LMDeploy简介
二.作业
配置conda环境
安装Imdeploy环境
下载预训练模型,查看模型,开发机上下载模型
使用Transformer库运行模型
使用LMDeploy运行模型
来调整--cache-max-entry-count参数的效果,显存占用减小