量化 vs 剪枝 vs 蒸馏:为推理优化神经网络! |
文章目录
一. 量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!
- 大家好。今天的视频中,我会讲解如何 压缩和优化你的模型。假设你已经训练或微调了一个模型,现在你准备将它部署给大家使用。但是你发现延迟太高,需要让模型运行得更快。今天我将介绍四种加快模型速度的方法:量化、剪枝、知识蒸馏和工程优化。
1.1. 量化(Quantization)
- 量化知识点参考我的文章:《LLM的量化》
- 量化&#x
量化 vs 剪枝 vs 蒸馏:为推理优化神经网络! |
- 大家好。今天的视频中,我会讲解如何 压缩和优化你的模型。假设你已经训练或微调了一个模型,现在你准备将它部署给大家使用。但是你发现延迟太高,需要让模型运行得更快。今天我将介绍四种加快模型速度的方法:量化、剪枝、知识蒸馏和工程优化。
- 量化知识点参考我的文章:《LLM的量化》
- 量化&#x