EcoAttnNet - 轻量级动态稀疏注意力网络用于边缘端图像分类

---

EcoAttnNet - 轻量级动态稀疏注意力网络用于边缘端图像分类

一、模型背景与动机

在当前的边缘计算场景中（如智能摄像头、无人机等），设备普遍存在算力受限、功耗敏感的特点。传统的轻量级网络（例如MobileNet、ShuffleNet）虽然在参数量和计算量上取得了一定的平衡，但其固定卷积核的设计使得网络无法根据图像中的关键信息进行动态调整，导致部分计算存在严重冗余。为了解决这一问题，我们提出了EcoAttnNet，一种集动态稀疏注意力、通道自适应剪枝以及蒸馏增强特征复用于一体的轻量级网络。

传统卷积神经网络在面对复杂场景时，往往需要处理全图信息，但实际上图像中的关键区域仅占极小比例。如果能在卷积计算时动态关注这些高响应区域，就能大幅降低计算量；同时，通过通道自适应剪枝机制，根据通道的重要性评分自动屏蔽冗余通道，不仅能减少参数量，还能提升网络的推理速度。此外，利用教师模型（如ResNet-18）的中间层特征作为监督信号，通过蒸馏损失来增强特征复用效果，可以在小模型中获得更强的表征能力，从而在低算力下实现高精度分类。