0 写在前面
第一部分内容更针对于精度的提升,第二部分就需要找到一些方法针对速度的提升。
1 ECA注意力机制
天津大学在2020CVPR发表的一篇文章
1.1 Abstract+Conclusion
- 目的:提高深度卷积网络的性能,并克服性能和复杂性之间权衡矛盾。
- 挑战:复杂的注意力机制增加了模型的复杂性。
- 提出了一种高效的通道注意力机制(ECA)
- 作用:涉及少量参数,同时带来明显的性能增益
- 灵感来源:SENet
- 原理:避免降维对于学习通道注意力很重要,适当的跨通道交互可以在显著降低复杂性的同时保持性能
- 提出了一种无降维的局部交叉信道交互策略,策略可以通过一维卷积有效实现。
- 提出了一种自适应选择一维卷积核大小的方法,以确定局部交叉通道交互的覆盖范围。
1.2 Contributions
- 避免维度缩减和适当的跨通道互动
- ECA在明显改进的同时,不增加模型复杂度
- 对比现有技术具有更低的模型复杂度