文献阅读
Dogged21
北京航空航天大学在读
展开
-
【文献阅读】Asymmetric Non-local Neural Networks for Semantic Segmentation
原文链接:https://arxiv.org/abs/1908.07678代码:https://github.com/MendelXu/ANN.gitNon-local 是一种特别有用的语义分割技术,但也因其难以进行计算和占用GPU内存而受到批评。本文提出了Asymmetric Non-local Neural Network,其中有两个突出的组成部分:Asymmetric Pyramid...原创 2020-05-03 16:20:47 · 750 阅读 · 0 评论 -
【文献阅读】Adaptive Pyramid Context Network for Semantic Segmentation
原文链接:http://openaccess.thecvf.com/content_CVPR_2019/papers/He_Adaptive_Pyramid_Context_Network_for_Semantic_Segmentation_CVPR_2019_paper.pdf近年来的研究表明,上下文特征可以显著地提高深层语义分割分网络的性能。当前基于语义的方法在如何构建语义结构存在着很大...原创 2020-05-02 20:51:59 · 462 阅读 · 0 评论 -
【文献阅读】A2-Nets: Double Attention Networks
原文链接:https://arxiv.org/abs/1810.11579学习捕获长距离关系是图像/视频识别的基础。现有的CNN模型一般依赖于增加深度来对这种关系进行建模,效率非常低。作者提出了“双注意力块”,这是一种新的组件,它从输入图像/视频的整个时空空间中聚集和传播信息的全局特征,使后续的卷积层能够有效地从整个空间访问特征。该组件设计为两步双注意机制,第一步通过二级注意池将整个空间的特...原创 2020-04-26 17:00:44 · 4809 阅读 · 0 评论 -
【文献阅读】Dynamic Graph Message Passing Networks
原文链接:https://arxiv.org/abs/1908.06955尽管cnn在许多计算机视觉任务中表现出色,但它们在捕获长期的结构化关系方面仍然受到限制,因为它们通常由局部kernel层组成。全连接图对这种建模是有益的,但是它的计算开销太大了。所以作者提出了一种基于消息传递神经网络框架的动态图消息传递网络,与建立全连通图的相关工作相比,大大降低了计算复杂度。根据输入条件对图中的节点进...原创 2020-04-25 12:07:50 · 2732 阅读 · 3 评论 -
【文献阅读】Interlaced Sparse Self-Attention for Semantic Segmentation
这篇文章的主要思想是将稠密的关联矩阵因式分解为两个稀疏的关联矩阵的乘积。使用两个连续的注意力模块,第一个注意力模块用于估计具有长空间间隔距离的位置子集内的相似度,第二个注意力模块用于估计具有短空间间隔距离的位置子集内的相似度。与原始的自注意力模块相比,大大降低了计算和内存复杂度,尤其是在处理高分辨率feature map时。原创 2020-04-16 14:46:39 · 2217 阅读 · 8 评论 -
【文献阅读】CCNet: Criss-Cross Attention for Semantic Segmentation
论文链接:https://arxiv.org/pdf/1811.11721.pdf国内镜像:https://xxx.itp.ac.cn/pdf/1811.11721.pdfFCN由于固定的几何结构,它们天生局限于局部的接受域和短距离的上下文信息。全图像依赖提供了有用的上下文信息,有利于视觉理解问题。基于空洞卷积的方法从周围的几个像素点收集信息,实际上并不能生成密集的上下文信息① Re...原创 2020-04-15 18:06:49 · 723 阅读 · 0 评论 -
【文献阅读】An Empirical Study of Spatial Attention Mechanisms in Deep Networks
论文链接:https://arxiv.org/abs/1904.05873国内镜像:https://xxx.itp.ac.cn/abs/1904.05873注意力机制使神经网络能够更多地关注输入的相关元素,而不是不相关的部分。在计算给定query(例如,输出句子中的目标单词)的输出时,某些key(例如,输入句子中的源单词)将根据query按优先级排序。在确定分配给给定query的某个ke...原创 2020-04-14 18:24:33 · 2274 阅读 · 1 评论 -
【文献阅读】PSANet: Point-wise Spatial Attention Network for Scene Parsing
文献阅读我认为这篇最大的亮点是从信息流的角度看待自注意力机制,但是网络设计有些牵强,解释有些生硬。与non-local的主要区别:1.有两个分支来学习关系;2.参数是自适应的而非仅利用相似度。仅从提高感受野的角度来看,与空洞卷积与全局池化的区别在于:基于dilated-convolution和基于pooling扩展以一种非自适应的方式利用了所有图像区域的同构互依赖,忽略了不同区域的局部...原创 2020-04-07 15:56:38 · 8540 阅读 · 1 评论 -
【文献阅读】Feature Denoising for Improving Adversarial Robustness
论文网址:https://arxiv.org/abs/1812.03411国内镜像:https://xxx.itp.ac.cn/abs/1812.03411这篇主要解决的是对抗攻击中出现的问题。没有好好研究对抗攻击中具体的算法,就大概知道是怎么回事。对抗攻击:通过对输入添加微小的扰动使得分类器分类错误,一般对用于深度学习的网络的攻击算法最为常见,应用场景包括目前大热的CV和NLP方向,例...原创 2020-03-30 10:58:02 · 1964 阅读 · 1 评论 -
【文献阅读及pytorch实践】U-Net: Convolutional Networks for Biomedical Image Segmentation
论文:http://www.arxiv.org/pdf/1505.04597.pdf国内镜像:http://xxx.itp.ac.cn/pdf/1505.04597.pdfU-Net名称主要来源是网络结构呈现U型,左右基本对称。左边是下采样,右边对应着下采样,结构很简单。直接总结我认为有启迪性的点:1.特征融合方式U-Net的特征融合是把channel concat起来,形成更厚的...原创 2020-03-05 14:57:12 · 365 阅读 · 1 评论 -
【文献阅读及pytorch实践】Non-local Neural Networks
原文链接:http://arxiv.org/pdf/1711.07971v3国内镜像:http://xxx.itp.ac.cn/pdf/1711.07971v3卷积操作和递归操作都是构建块,一次处理一个局部邻居,在此文中,作者将非局部操作作为捕获远程依赖项的构建块的一个通用族来表示。受传统算法非局部均值启发,非局部操作用所有位置特征的加权来作为一个位置的响应。我们从图像数据来解释,获得比较...原创 2020-02-26 17:01:30 · 1478 阅读 · 1 评论 -
【文献阅读及pytorch实践】FCN:Fully Convolutional Networks for Semantic Segmentation
FCN开源代码:https://github.com/shelhamer/fcn.berkeleyvision.org可视化prototxt:netron跑通caffemodel:import numpy as npfrom PIL import Imageimport matplotlib.pyplot as pltimport caffe# load image, s...原创 2020-02-17 15:33:08 · 647 阅读 · 0 评论 -
【文献阅读及pytorch实践】ResNet:Deep Residual Learning for Image Recognition
第一部分.文献阅读首先,作者抛出了一个问题:学习更好的网络就像堆叠更多的层那么简单吗?回答这个问题的一个很大的障碍就是众所周知的梯度消失/梯度爆炸,它从一开始就阻止了收敛。现在这个问题主要是通过初始归一化和中间层归一化来解决,可以使数十层的网络收敛。但是当更深的网络可以收敛的时候,存在一个退化的问题:当网络深度逐渐增加时,精度达到饱和,然后开始退化(目前还不是很懂这个问题的本质原因)这...原创 2020-02-08 11:47:12 · 338 阅读 · 0 评论 -
【文献阅读及pytorch实践】VGG:Very Deep Convolutional Networks For Large-scale Image Recognition
第一部分.文献阅读首先来说这篇文章最主要的贡献:通过减少卷积核的大小(使用3*3的卷积核)来增加网络的深度,当深度为16-19层时达到了当时最好的效果1.架构输入为一张固定224*224的RGB图像,唯一做的预处理是减去训练集图像的平均RGB数值;网络卷积层的卷积规模采用了两种,一种是3 * 3的卷积核(3 * 3是最小的可以捕获到上下左右及中间的尺寸);另一种是1 * 1的卷积核(可以...原创 2020-01-16 13:56:50 · 264 阅读 · 0 评论 -
【文献阅读及pytorch实践】AlexNet: ImageNet Classification with Deep Convolutional Neural Networks
这篇文章在读的时候并没有遇到特别多的障碍,当然我很清楚这并不是代表我厉害了一点点…单纯的是这篇文章过于经典,可以说他的出现大大激发了人们研究神经网络的热情。文章中采用架构在现在来看并不复杂的卷积神经网络,并且提出了ReLU和dropout等非常经典有效的方法,这些方法是很basic的方法,但在论文中看到这些眼熟的方法还是非常兴奋的,对Alex及他老师Hinton的崇拜之情又加深了好几分。第一部分...原创 2019-12-04 20:20:12 · 360 阅读 · 1 评论 -
【文献阅读及pytorch实践】LeNet5:Gradient-Based Learning Applied to Document Recognition
希望通过这种方式强迫自己输出,输出倒逼输入。原创 2019-11-21 13:00:35 · 273 阅读 · 0 评论