细粒度结构化稀疏神经网络：第一节

 摘要

深度神经网络 (DNN) 中的稀疏性已被广泛研究以压缩和加速资源受限环境中的模型。它通常可以分为非结构化细粒度稀疏性（将分布在神经网络中的多个个体权重归零）和结构化粗粒度稀疏性（修剪神经网络的子网络块）。细粒度稀疏可以实现高压缩比，但对硬件不友好，因此速度增益有限。另一方面，粗粒度的稀疏性不能同时在现代 GPU 上实现明显的加速和良好的性能。在本文中，我们第一个研究从头开始训练（N:M）细粒度结构化稀疏网络，该网络可以在专门设计的 GPU 上同时保持非结构化细粒度稀疏性和结构化粗粒度稀疏性的优势。

具体来说，一个（2 : 4）稀疏网络可以在 Nvidia A100 GPU 上实现 2 倍加速而不降低性能。此外，我们提出了一种新颖有效的成分，一种稀疏精炼的直通估计器（SR-STE），以减轻优化过程中由普通 STE 计算的近似梯度的负面影响。我们还定义了一个度量，即稀疏架构发散 (SAD)，以测量训练过程中稀疏网络的拓扑变化。最后，我们用 SAD 证明了 SR-STE 的优势，并通过对各种任务进行综合实验证明了 SR-STE 的有效性。