书生浦语大模型第五次课堂笔记

一.大模型部署背景

1.模型部署介绍

模型部署简单来说就是对软件应用，对人工智能来说是将深度学习模型运行

2.大模型面临的挑战

大模型部署要有强大的技术支持，但也会遇到许多难题。

a.计算量巨大

b.内存开销巨大

c.访存瓶劲及动态请求

二.大模型部署方法

1.模型剪枝

2.知识蒸馏

知识蒸馏是先根据上下文学习，然后保有原本的思维链按照指令跟随从而将模型压缩

3.量化

三.LMDeloy简介

1.LMDeloy介绍

2.LMDeloy核心功能

3.LMDeloy性能表现

LMDeloyde相较于其他模型，它的推理速度是非常快的，处于前列。

4.LMDeloy推理视觉多模态大模型

它可以通过代码来实现根据图片来生成你想要的文本，对未来的发展提供更多便捷。