模型剪枝及yolov5剪枝实践

【结构化剪枝掉点太多，不如一开始就选个小模型训练。非结构化剪枝checkpoint文件储存大小没有变化，推理速度没有增益，精度还略微下降。总之目前没有认为模型剪枝在推理速度上有什么增益，比较鸡肋】

1、模型剪枝

模型剪枝的定义就不再赘述，剪枝就是将网络结构中对性能影响不大且权重值较小的节点去掉，从而降低模型的计算量，提高运算速率。

模型剪枝的流程：

• 正常训练： 初始化模型并进行正常训练，获得一个初始模型。
• 稀疏化训练： 在训练过程中引入稀疏化方法，使部分参数趋于零。
• 剪枝操作： 根据稀疏化结果，去除零值或接近零的参数。
• 微调（Fine-tuning）： 对剪枝后的模型进行重新训练，以恢复性能。

很好理解，在剪枝时哪些节点需要被裁剪，需要依靠一个指标。稀疏化就是在训练过程中加以约束，使得某些不重要的节点的参数趋于零，为后续剪枝提供依据。

虽然某些阶段的参数趋于零，但是仍然具有一定的作用，当裁剪后可能会对模型的性能产生较大的波动。所以再通过微调重新训练，恢复模型的性能。

1、 稀疏化训练

数学层面的稀疏化： 稀疏化的核心是通过某种方式（如正则化或剪枝）将权重矩阵中的绝大部分元素置零，使得非零元素的比例非常低。引申到模型中，就是将参数趋于零的过程。

实现稀疏化训练比较简单的就是引入L1正则化，所谓的L1正则化就是‌指向量中各个元素的绝对值之和。在模型训练过程中，引入L1正则化损失的稀疏化训练损失为：
$$L=L_{ori}+\lambda ||w|{|}_1$$