鉴别力感知的通道剪枝——Discrimination-aware Channel Pruning

"Discrimination-aware Channel Pruning for Deep Neural Networks"这篇文章首先认为通道剪枝能够确保剪枝后模型与现有深度学习框架兼容，避免非规整的稀疏运算。其次基于训练的通道剪枝策略，需要在训练过程中施加稀疏约束或正则化约束，通常消耗较大的训练时间。另外基于最小化输出特征重建误差、layer-by-layer方式的剪枝策略（channel selection），容易忽视通道特征的鉴别力。因此文章提出了鉴别力感知的通道剪枝策略，即Discrimination-aware Channel Pruning（DCP），分别在fine-tune与剪枝（channel selection）阶段引入鉴别力感知的辅助loss，能够增强剪枝后所保留特征的鉴别能力。

整体算法框架如上图所示：首先在第p阶段，结合Lp层的辅助损失L(p,s)与剪枝网络最终的分类损失Lf，更新第p-1阶段剪枝得到的模型，以恢复整体精度与特征的鉴别力；然后执行第p阶段的剪枝操作，以输出特征重建误差和辅助损失L(p,s)的联合loss作为优化目标，采用贪心策略完成channel selection，进而完成中的各个layer的剪枝。如此反复迭代，直至完成整体网络的剪枝目标。

类似于GoogleNet的训练，引入Lp层的辅助loss L(p,s)，能够提升剪枝后所保留的通道对最终分类的贡献，即提升通道特征的鉴别能力（Discrimination power），因此称之为鉴别力感知的辅助loss