书生浦语大模型-笔记五

一.大模型部署背景
1.模型部署介绍
模型部署简单来说就是对软件应用，对人工智能来说是将深度学习模型运行

2.大模型面临的挑战
大模型部署要有强大的技术支持，但也会遇到许多难题。
a.计算量巨大

c.访存瓶劲及动态请求

二.大模型部署方法
1.模型剪枝

2.知识蒸馏
知识蒸馏是先根据上下文学习，然后保有原本的思维链按照指令跟随从而将模型压缩

3.量化

三.LMDeloy简介
1.LMDeloy介绍

2.LMDeloy核心功能

4.LMDeloy推理视觉多模态大模型
它可以通过代码来实现根据图片来生成你想要的文本，对未来的发展提供更多便捷。