深度学习基础
泉伟
这个作者很懒,什么都没留下…
展开
-
计算机视觉注意力网络(五)——SKNet [CVPR 2019]
论文地址:https://arxiv.org/abs/1903.06586代码地址:https://github.com/implus/SKNetSelective Kernel Networks(SKNet)发表在CVPR 2019,是对Momenta发表于CVPR 2018上论文SENet的改进,且这篇的作者中也有Momenta的同学参与。SENet是对特征图的通道注意力机制的研究,之前的CBAM提到了对特征图空间注意力机制的研究。这里SKNet针对卷积核的注意力机制研究。不同大小的感受视野(卷原创 2020-07-08 09:29:02 · 3642 阅读 · 3 评论 -
计算机视觉注意力网络(四)——GSoP-Net [CVPR 2019]
给定一个输入张量,降维后,GSoP块先进行协方差矩阵计算,然后进行线性卷积和非线性激活的两个连续运算,得到输出张量,输出张量沿通道维数对原始输入进行缩放,一定程度上也是一种通道注意力的体现,但与SEnet不同的是该模块提出了2维平均池化,通过协方差的形式体现了通道与通道之间的关系。如上图所示,通过GSop模块的不同位置,作者提供了两个模型称为GSopNet1和GSopNet2。GSopNet2中还涉及到修改和推进(平方根和带参数)涉及到一些统计和线代上的知识。GSoP-Net的实现代码如下:# h.原创 2020-07-01 10:58:46 · 7226 阅读 · 1 评论 -
计算机视觉注意力网络(三)——CBAM [ECCV 2018]
CBAM(Convolutional Block Attention Module)结合了特征通道和特征空间两个维度的注意力机制。CBAM通过学习的方式自动获取每个特征通道的重要程度,和SEnet类似。此外还通过类似的学习方式自动获取每个特征空间的重要程度。并且利用得到的重要程度来提升特征并抑制对当前任务不重要的特征。CBAM提取特征通道注意力的方式基本和SEnet类似,如下ChannelAttention中的代码所示,其在SEnet的基础上增加了max_pool的特征提取方式,其余步骤是一样的。将通道原创 2020-07-01 10:05:14 · 2659 阅读 · 0 评论 -
计算机视觉注意力网络(二)——SeNet [CVPR 2018]
下文将主要介绍:注意力机制在分类网络中的典型应用–SENet视觉注意力机制在分类网络中的应用Squeeze-and-Excitation Networks(SENet)论文地址:https://arxiv.org/abs/1709.01507官方代码地址:https://github.com/hujie-frank/SENetPytorch实现代码:https://github.com/moskomule/senet.pytorchSENet是Squeeze-and-Excitation Net原创 2020-07-01 10:04:35 · 2695 阅读 · 1 评论 -
计算机视觉注意力网络(一)——简介
【CV中的Attention机制】基础篇-视觉注意力机制和SENet**注意力机制(Attention Mechanism)**是机器学习中的一种数据处理方法,广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。注意力机制本质上与人类对外界事物的观察机制相似。通常来说,人们在观察外界事物的时候,首先会比较关注比较倾向于观察事物某些重要的局部信息,然后再把不同区域的信息组合起来,从而形成一个对被观察事物的整体印象。Attention Mechanism可以帮助模型对输入的X每个部分赋原创 2020-07-01 10:03:51 · 6123 阅读 · 0 评论 -
深度学习硬件实现
文章目录各种硬件CPUGPUNPUFPGA各芯片架构特点总结国产化分析华为Atlas 300寒武纪比特大陆各种硬件CPUCPU(Central Processing Unit)中央处理器,是一块超大规模的集成电路,主要逻辑架构包括控制单元Control,运算单元ALU和高速缓冲存储器(Cache)及实现它们之间联系的数据(Data)、控制及状态的总线(Bus)。简单说,就是计算单元、控制单...原创 2020-09-06 16:41:11 · 3375 阅读 · 0 评论 -
深度学习常用各种卷积
卷积方式 特点 代表 传统卷积 LeNet、AlexNet、VGG 多隐层非线性 Inception-v1、v2、v3、v4 空洞卷积 FCN 深度可分离卷积 Xception 可变形卷积 Deformable Convolutional Networks 特征重标定卷积 ...原创 2020-09-06 16:33:53 · 3320 阅读 · 0 评论