Attention
文章平均质量分 67
mingo_敏
这个作者很懒,什么都没留下…
展开
-
深度学习论文: Attention is All You Need及其PyTorch实现
深度学习论文: Attention is All You Need及其PyTorch实现PyTorch:大多数先进的神经序列转换模型采用编码器-解码器结构,其中编码器将输入符号序列转换为连续表示,解码器则基于这些表示逐个生成输出符号序列。在每个步骤中,模型采用自回归方式,将先前生成的符号作为额外输入来生成下一个符号。原创 2024-03-28 08:33:40 · 1783 阅读 · 1 评论 -
深度学习论文: Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions
深度学习论文: Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions及其PyTorch实现Global Attention Mechanism: Retain Information to Enhance Channel-Spatial InteractionsPDF: https://arxiv.org/pdf/2112.05561v1.pdfPyTorch代码: https://原创 2021-12-19 17:34:00 · 1680 阅读 · 2 评论 -
深度学习中Attention与全连接层的区别何在?
Attention的最终输出可以看成是一个“在关注部分权重更大的全连接层”。但是它与全连接层的区别在于,注意力机制可以利用输入的特征信息来确定哪些部分更重要。举个例子:输入层有A,B,C三个特征向量,我们需要构造一层网络来确定三者的权重,然后加权求和得到输出O。也就是得到三个权重 ωa\omega_{a}ωa, ωb\omega_{b}ωb 和 ωc\omega_{c}ωc,然后得到O=ωaA+ωbB+ωcCO = \omega_{a}A+ \omega_{b}B + \omega_{c}CO=转载 2021-06-22 13:24:33 · 1441 阅读 · 1 评论 -
注意力机制论文:FcaNet: Frequency Channel Attention Networks及其PyTorch实现
FcaNet: Frequency Channel Attention NetworksPDF: https://arxiv.org/pdf/2012.11879.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-NetworksPyTorch代码: https://github.com/shanglianlm0525/CvPytorch1 概述2 Frequency Channel AttentionPyTorch代码:原创 2021-01-04 09:37:25 · 4379 阅读 · 8 评论 -
深度学习论文: BAM: Bottleneck Attention Module及其PyTorch实现
BAM: Bottleneck Attention ModulePDF: https://hangzhang.org/files/resnest.pdfPyTorch: https://github.com/shanglianlm0525/PyTorch-NetworksPyTorch: https://github.com/shanglianlm0525/CvPytorch原创 2021-01-04 09:37:41 · 2313 阅读 · 4 评论 -
深度学习论文: ResNeSt: Split-Attention Networks及其PyTorch实现
ResNeSt: Split-Attention NetworksPDF:https://hangzhang.org/files/resnest.pdfPyTorch: https://github.com/shanglianlm0525/PyTorch-Networks1 ResNeSt:注意力分割网络ResNeSt是基于ResNet,引入了Split-Attention块,可以跨不同的...原创 2020-04-26 22:37:17 · 3385 阅读 · 3 评论 -
注意力机制论文:CBAM: Convolutional Block Attention Module及其PyTorch实现
CBAM: Convolutional Block Attention ModulePDF: https://arxiv.org/pdf/1807.06521.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-NetworksPyTorch代码:原创 2020-02-26 14:05:15 · 10736 阅读 · 9 评论 -
注意力机制论文:GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond及其PyTorch实现
GCNet: Non-local Networks Meet Squeeze-Excitation Networks and BeyondPDF: https://arxiv.org/pdf/1904.11492.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-NetworksPyTorch代码:原创 2020-03-01 09:01:55 · 8773 阅读 · 5 评论 -
注意力机制论文:Concurrent Spatial and Channel SE in Fully Convolutional Networks及其Pytorch实现
Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional NetworksPDF: https://arxiv.org/pdf/1803.02579v2.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-NetworksPyT...原创 2020-02-26 14:06:12 · 2406 阅读 · 0 评论 -
注意力机制论文:Non-Local neural networks及其Pytorch实现
Non-Local neural networksPDF: https://arxiv.org/pdf/1711.07971.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-NetworksPyTorch代码:原创 2020-03-01 09:01:21 · 14933 阅读 · 19 评论