笔记:
1、大模型部署面临的挑战:计算量巨大;内存开销巨大;访存瓶颈;动态请求
2、大模型部署方法:模型剪枝;知识蒸馏;量化(降低访存量,牺牲一定精度)
3、LMDploy功能:模型高效推理;模型量化压缩;服务化部署
基础作业:
1、复制环境:
2、利用原生Transformer进行对话:
3、利用LMDploy来部署对话:
利用LMDploy部署简单方便,而且推理速度比原生Transformer确实在推理速度上有优势。
1、大模型部署面临的挑战:计算量巨大;内存开销巨大;访存瓶颈;动态请求
2、大模型部署方法:模型剪枝;知识蒸馏;量化(降低访存量,牺牲一定精度)
3、LMDploy功能:模型高效推理;模型量化压缩;服务化部署
1、复制环境:
2、利用原生Transformer进行对话:
3、利用LMDploy来部署对话:
利用LMDploy部署简单方便,而且推理速度比原生Transformer确实在推理速度上有优势。