![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
注意力机制
文章平均质量分 93
莫一丞元
根特大学PhD在读
展开
-
Transformer理解
Transformer理解 注:这里不涉及具体的矩阵维度。 背景 Transformer 是 Google Brain团队在 17 年 6 月提出的 NLP 经典之作,由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。Transformer 在机器翻译任务上的表现超过了 RNN,CNN,只用 encoder-decoder 和 attention 机制就能达到很好的效果,最大的优点是可以高效地并行化。 Transformer 的原创 2021-04-05 15:06:17 · 285 阅读 · 0 评论 -
CBAM
CBAM是2018年的分类冠军,它和SE一样也是一个模型,现在任何流行网络都可以嵌入这个模块,那么它的由来是什么呢? SE的由来是因为不同通道的像素的重要性可能不一样,那么既然这样,同一个通道的不同位置像素重要性也可能不一样,所以就有了CBAM,既考虑不同通道像素的重要性,又考虑了同一通道不同位置像素的重要性 Convolutional Block Attention Module(CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间(spatial)和通道(channel)的注意力机制模块。相比于s原创 2020-09-06 19:10:59 · 582 阅读 · 0 评论 -
SENET
SENET是2017年的世界冠军,SE全称Squeeze-and-Excitation是一个模块,将现有的网络嵌入SE模块的话,那么该网络就是SENet,它几乎可以嵌入当前流行的任何网络,那么为什么会引出这个东西呢,来看下图: 一个feature map经过一系列卷积池化得到的feature map,通常我们认为这个得到的feature map的每个通道都是同样重要的。但实际情况是:我们得到的feature map的每个通道的重要性都不一样,比如一张包含动物的图片,那么背景肯定不怎么重要,它转化为灰度图后原创 2020-09-06 19:11:40 · 707 阅读 · 0 评论