模型剪枝实战：从结构化剪枝到彩票假设（Lottery Ticket）深度解析

模型剪枝作为深度学习模型压缩的核心技术，通过移除冗余参数显著降低计算资源需求。

---

一、剪枝技术的数学本质与分类体系

1.1 参数空间优化视角

给定神经网络参数集合 $\theta \in {\mathbb{R}}^d$，剪枝本质是寻找稀疏子集${\theta }^{\prime }\subset \theta$使得：

$$\underset{{\theta }^{\prime }}{\min }\mathcal{L}(f(x;{\theta }^{\prime }))\text{s.t.}\Vert {\theta }^{\prime }{\Vert }_0\le k$$

其中 $\Vert \cdot {\Vert }_0$ 表示非零参数数量。该优化问题可分解为两个阶段：

1. 重要性评估：建立参数重要性评分函数 $S({\theta }_i)$
2. 阈值筛选：确定保留参数的比例 $r=k/d$

1.2 非结构化剪枝的数学形式化

1.2.1 局部剪枝（Layer-wise）

对第 $l$ 层权重 $W^{(l)}\in {\mathbb{R}}^{m\times n}$，定义剪枝掩码 M ( l ) ∈ { 0 , 1 } m × n M^{(l)} \in \{0,1\}^{m \times n} M(l)∈{ 0,1}m×n，剪枝后权重：

$$W_{\text{pruned}}^{(l)}=W^{(l)}\odot M^{(l)}$$

其中掩码生成策略：

$$M_{ij}^{(l)}=\{\begin{array}{ll}1& \text{if }|W_{ij}^{(l)}|\ge {\tau }^{(l)}\\ 0& \text{otherwise}\end{array}$$

阈值