weixin_44735322的博客

原创 感受野和注意力机制有什么关系？

感受野和注意力机制有什么关系？一、注意力机制二、non-local公式和流程图解读三、non-local代码解读四、总结一、注意力机制那么说点，，，大家都说的注意力机制的思想是忽略无关信息关注重点信息。注意力机制分为软注意力机制（soft attention）和强注意力机制(hard attention)。软注意力机制关注于区域或者通道，软注意是确定性注意力，是可微的，能够通过训练得到注意力权重。non-local是何凯明团队提出，之后大量的注意力机制论文是在该论文的基础上改进（SENet、CBA