剪枝引言
前言
手写AI推出的全新模型剪枝与重参课程。记录下个人学习笔记,仅供自己参考。
本次课程为引言,主要讲解剪枝的一些基础概念。
课程大纲可看下面的思维导图
1.What、Why and How
问题:什么是模型剪枝?为什么需要剪枝?如何去剪枝呢?
1.1 What
什么是深度学习模型剪枝?
模型剪枝(Model Pruning)指的是在训练好的模型上去除一些冗余或不必要的参数,以达到减小模型大小、提高模型推理速度、降低模型计算复杂度等目的的一种模型压缩技术。
1.2 Why
为什么要学习剪枝呢?
主要有以下三点原因:
- Today’s AI is to BIG!
- 随着深度学习的发展,现代的神经网络变得越来越大,具有很高的复杂性和参数量。从Transformer的0.05B,GPT-3的170B到GPT-4的上万亿参数,这些庞大的模型需要巨大的计算资源来训练和运行。
- Memory is Expensive
- 由于深度学习模型的复杂性和参数量增加,模型存储和推理变得昂贵
- Embedding device
- 深度学习在嵌入式设备上的应用正在迅速增长,然而这些设备通常有非常有限的计算和存储资源
综上所述,模型剪枝是为了减小模型的规模和复杂性,从而提高模型的效率和性能,使得模型可以在资源受限的设备上运行。
1.3 How
如何去剪枝?
模型剪枝可以分为结构化剪枝和非结构化剪枝两种方式。结构化剪枝指的是删除整个卷积核或整个神经元,而非结构化剪枝则是删除一些单个的、独立的参数。常用的模型剪枝算法有L1正则化、L2正则化、网络修建、剪枝比率等。
总结
本次课程为导言部分,学习了what、how and why剪枝。