![](https://img-blog.csdnimg.cn/20190914152754526.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文阅读
学习
张先生-您好
学习的同时记录,记录的同时分享,分享的同时交流,交流的同时学习。
展开
-
不定期读一篇Paper之Dual Attention
不定期读一篇Paper之Dual Attention Network前言 本文提出双重注意力网络,使用自注意力机制捕获了空间和通道的全局依赖,从而实现获得长距离的依赖,使得表达信息更加的充分。建议读原文并阅读源码理解。框架整体结构 DAN整体上把位置自注意力机制和通道注意力机制并行处理,处理方式有一点像CBAM,只不过CBAM使用到的是注意力机制,区别与自注意力机制。位置自注意力能捕获长距离的信息,从而获得更多的空间信息,通道子注意力能够捕获不同通道之间的依赖,从而对特征进行原创 2020-05-17 14:54:21 · 1674 阅读 · 0 评论 -
不定期读一篇Paper之GC-Net
不定期读一篇Paper之GC-Net前言谁能经得起更多的质疑,谁才更值得相信。即使经过很多质疑建立起来的理论,出现了新的问题,仍然可以质疑。质疑是最基本的思考。质疑本身也要经得起质疑。 — 北京大学物理学院副教授、北京大学高性能计算平台主任 ...原创 2020-04-13 15:56:23 · 326 阅读 · 0 评论 -
不定期读一篇Paper之Non local Neural Network
不定期读一篇Paper之Non local Neural Network前言 捕获长距离的依赖是深度神经网络的重点,对于序列数据而言,可以在时间维度上进行捕获,而对于图像而言,则需要通过不断堆叠网络层来获得更大感受野信息,从而获得更多的信息(网络越深,则其感受野较大,且能获得图像的高级语义信息)。但是,在卷积操作中通过堆叠的形式,其效率不但不高效,而且优化也是一个非常难的问题。Non ...原创 2020-04-12 11:37:51 · 225 阅读 · 0 评论 -
不定期读一篇Paper之SKNet
不定期读一篇Paper之SKNet前言 SKNet是SEnet的升级版本,你会在里面看到很多SENet的身影。首先,由于传统的卷积网络在某一层所关注的感受野的大小是相同,所以,SKNe提出关注同一层不同的感受野,并且SKNet提出动态的选择不同的感受野。这里引用作者原话:用multiple scale feature汇总的information来channel-wise地指导如何分...原创 2020-04-06 16:22:29 · 599 阅读 · 0 评论 -
不定期读一篇Paper之Grad_CAM
不定期读一篇Paper之Grad_CAM目的:本篇论文注重对卷积网络神经网络这个黑盒子,进行可视化,使得我们能够对于我们的网络究竟最后学到了那些重要的特征,能够有一个清晰的了解,严格说这是一种方法,能使我们对于模型的检测起到很好的作用,尤其是在注意力机制的模型中,我们可以看到网络是否真的在学习我们所关注的对象。这种方法可以很好用在图像分类、图像理解、目标检测和图像问答领域中,有助于我们更好地修...原创 2020-04-02 16:54:33 · 718 阅读 · 0 评论 -
不定期读一篇Paper之CBAM
不定期读一篇Paper之CBAM前言 本论文针对先前对通道注意力或者空间注意力机制,提出了一个简单又有效的注意力机制模块,该模块既注意关注通道方面,使得网络知道“what”,又针对空间方面,使得网络知道"where",两面进行调整。此外,CBAM是一个轻量化且通用的模块,它可以被整合到任何CNN架构的网络中,并且可以进行端对端的训练。框架 CBAM有两个注意力模块:通道和空...原创 2020-04-02 16:38:53 · 328 阅读 · 0 评论 -
不定期读一篇Paper之SENet
不定期读一篇Paper之SENet前言 首先,引用原文中的一段文字,如下图: 所以,SENet的提出了更加关注不同通道的之间的重要程度,下面是VGG16网络第一层的特征图可视化图片来源,共有64个通道,从图中我们可以看出不同特征图所关注的图像的特征不同(当然,随着网络的加深,网络能够表达的信息更加的抽象,这里引用了浅层网络),有些通道关注是一些纹理信息,有些是一些轮廓信息等...原创 2020-04-02 16:47:40 · 1263 阅读 · 0 评论 -
不定期读一篇Paper之BAM
不定期读一篇Paper之BAM前言 相较于CBAM模块的次序链接,通道注意力在前,空间注意力在后的连接方式,BAM使用了“并联”式的结构,使得通道注意力和空间注意力相互作用,实现了网络的“what”和“where”,并且它也是一个模块化的结构,可以嵌入任何CNN的网络中。框架空间Attention 空间attention模块产生一个空间注意力图来强调和抑制空间...原创 2020-04-02 16:33:56 · 205 阅读 · 0 评论