本文探讨了注意力机制在深度学习中的应用，特别是在计算机视觉（CV）中的注意力模块，如SE（squeeze and excitation）、ECA（Efficient Channel Attention）和CBAM（Channel and Spatial Attention Module）。这些模块通过增强关键特征并抑制冗余信息，提高了模型的表现。同时，文章还介绍了通道注意力、空间注意力及其结合使用的方式，以及不同类型的注意力机制，如软注意力和硬注意力。
更新中
在认知科学中注意力机制指：人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息
人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（Acuity），只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。
一文看尽深度学习中的各种注意力机制（1998-2020年） (qq.com)
1713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
扫一扫
