笔记
文章平均质量分 83
叫什么就是什么
大学生程序员
展开
-
《The graph neural network model》笔记
Introduction该论文应该是最早的讲GNN的论文。该论文的主要工作是实现一个转导(transduction)函数,把图GGG或者结点nnn映射到一个m维的嵌入向量:τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm。图领域应用可以分成两类:graph focused 和 node focused。graph focused: 函数把图映射成嵌入...原创 2020-05-08 16:55:40 · 846 阅读 · 1 评论 -
《Inductive representation learning on large graphs》笔记
Introduction这篇论文介绍了一种图卷积网络(Graph convolution network),该论文的图卷积方法很容易理解,没有涉及傅里叶变换。论文的出发点是为图中每个结点计算得到一个低维嵌入向量。已有的基于因式分解的嵌入方法直接为每个单独的结点训练结点的嵌入向量,是transductive。不知道transductive该怎么翻译,我觉得它的意思得到的低维嵌入向量是特定于某个任务...原创 2020-05-02 19:17:00 · 444 阅读 · 0 评论 -
GCN深入浅出
如何理解 Graph Convolutional Network(GCN)?我主要参考知乎上这个回答。这个回答从热传播模型开始说起,介绍了图卷积网络和热传播模型的关系,说明了图卷积网络方法的一般思路。本博客重述了该回答的主要内容。图卷积网络的本质“图中的每个结点无时无刻不因为邻居和更远的点的影响而在改变着自己的状态直到最终的平衡,关系越亲近的邻居影响越大。”结点状态的改变与GCN使用的Lapla...转载 2020-05-01 13:07:07 · 498 阅读 · 0 评论 -
《ResNeSt: Split-Attention Networks》笔记
IntroductionNAS系列方法大大提升了图片分类的精度,但是这些NAS系列方法是基于特定任务搜索出来的网络结构,提取出来的特征泛化性不高。而且NAS系列模型的训练效率和内存使用效率不高。NAS系列模型消耗很多内存,有些大模型不能使用合适的batch-size在GPU上训练。这限制了NAS系列模型用于其他应用,比如需要密集预测的分割任务。大多数针对计算机视觉任务的工作依然使用ResNet模...原创 2020-04-25 16:06:24 · 1182 阅读 · 1 评论 -
《Scale-Aware Trident Networks for Object Detection》笔记
Introduction特征金字塔有一个缺点,它每层的特征都是由不同的参数卷积得到的,这样做牺牲了不同尺度下特征的一致性,这会减低训练数据的影响和在每个尺度下有过拟合的风险。这篇论文的目标就是生成对所有尺度都有效率的有统一表征能力的特征。论文首先从网络的感受野入手,研究不同的感受野对检测网络的影响。论文把conv4层的卷积层换成空洞卷积层,膨胀率从1到3分别做实验,实验结果如下从实验结果可...原创 2020-04-11 13:15:29 · 283 阅读 · 0 评论 -
《Learning Rich Features at High-Speed for Single-Shot Object Detection》笔记
Introduction论文针对目前一阶段目标检测方法在小物体检测的表现弱的问题,提出了一个新的一阶段目标检测框架。该框架主要的思路是在特征金字塔的过程中融入缺少的低级/中级特征,让低、中、高特征在各个级别的特征层上流动。另外,考虑到目标检测框架从头开始训练的效果更好,该框架结合了预训练模型微调和从头开始训练的优点。Method该框架的整体结构如下[外链图片转存失败,源站可能有防盗链机制,...原创 2020-04-03 14:11:48 · 355 阅读 · 1 评论 -
《Imbalance problems in object detection: A review》笔记
简介论文《Imbalance problems in object detection: A review》对目标检测中的不平衡问题做了综合的叙述。该论文对目标检测的不平衡问题做了系统性的分类,根据相关的输入属性,把不平衡问题划分成4大类,8个小类。与类别的不平衡问题相关的输入属性是不同类别的输入的边框数量,这也是这个类别的分类依据。前景类和背景类的边框数不同导致了前景-背景类别不平衡问题。...原创 2020-03-28 16:53:45 · 1242 阅读 · 0 评论 -
《Adapting Object Detectors via Selective Cross-Domain Alignment》笔记
Introduction深度卷积网络模型的性能非常依赖数据集。如果数据集的数据分布与现实生活的数据分布一致,深度模型能够表现出优异的性能。但是,现有的基础数据集只覆盖了有限范围内的场景。在现实世界的模型部署中,环境条件的变化,比如成像传感器、天气和光照的变化,会产生明显的域偏移,数据分布和数据集的数据分布不一致,导致了模型的表现性能下降。如下图所示,用城市风景数据集训练的检测模型在城市风景图像...原创 2020-03-21 21:36:46 · 841 阅读 · 0 评论 -
适用于目标检测的数据增强方法
论文《Learning Data Augmentation Strategies for Object Detection》研究了适用于目标检测的数据增强策略。该论文的思路和《AutoAugment: Learning Augmentation Strategies from Data》一样,选择一些常用的数据增强方法组成不同的策略,然后使用离散空间搜索算法找到适用于目标检测的数据增强策略。论文使...原创 2020-03-21 13:06:31 · 2658 阅读 · 0 评论 -
《AutoAugment: Learning Augmentation Strategies from Data》笔记
Introduction数据增强是提高分类模型精度的有效方法。大多数模型训练方法只是简单的使用数据增强方法,而没有探究该如何组合数据增强方法以获得最优的效果。该论文受到网络结构搜索方法的启发,搜索最优的数据增强方法。该论文定义了一个搜索空间,里面包括不同数据增强方法,称为子策略,然后用强化学习的方法从搜索空间中找到最优的策略。这种搜索数据增强策略的方法,称为AutoAugment。该方法有两种...原创 2020-03-13 15:59:47 · 1822 阅读 · 1 评论 -
《GhostNet: More Features from Cheap Operations》笔记
GhostNetIntroductionGhostNet是从模型设计方面精简卷积神经网络模型。Motivation卷积神经网络模型得到的特征中有许多特征是冗余的。比如下图是ResNet-50的第一个残差块得到的特征图,红色、绿色和蓝色框的特征图表现出非常高的相似性。同颜色的下一个特征图就像是上一个特征图的镜像(ghost)。而这些相似度高的特征图是由不同的卷积核参数计算得到的。作者的想法是...原创 2020-03-06 14:46:39 · 1044 阅读 · 0 评论 -
《Selectivity or Invariance: Boundary-aware Salient Object Detection》笔记
Introduction该论文利用显著性特征图(saliency feature map)来进行目标检测,得到物体的位置掩膜图(mask),属于显著性目标检测模型(salient object detection, SOD)。SOD模型在处理物体内部和边界时面临相反的需求。内部的特征应该对强烈的外貌变化具有不变性(invariant)以便突出物体整体。然而边界的特征应该对外貌的轻微变化具有选择...原创 2020-02-15 12:15:07 · 896 阅读 · 0 评论 -
《DropBlock: A regularization method for convolutional networks》笔记
IntroductionDropout的思想是随机失活一部分激活单元,让输出的feature或feature map丢失一些信息,使得网络能够关注更多的有辨别能力的特征,而不是只关注某几个特征,从而使得网络更加鲁棒,从另一方面来说,dropout起到了正则化的作用。Dropout应用到卷积网络的feature map上,具体操作是在每个feature map上随机失活部分神经元。DropBlo...原创 2019-11-28 10:49:44 · 307 阅读 · 0 评论 -
《Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation》笔记
Intorduction该论文讲述如何用弱监督的方法训练语义分割器。弱监督方法没有强监督信息,比如ground truth。在这篇论文里,语义分割的样本标签只有图片的分类类别。已经有许多方法能够从分类信息中生成语义分割的mask。论文在这些工作的基础上,对生成的语义分割的mask调整成更加准确的mask。输入的是粗糙的mask,输出是精细的mask的函数叫做mapping function。有...原创 2019-11-05 15:43:31 · 2155 阅读 · 9 评论 -
《Semi-Supervised Pedestrian Instance Synthesis and Detection with Mutual Reinforcement》笔记
Motivation该论文的内容是行人实例检测,针对的问题是数据集只有部分数据有标注,其他大部分数据没有标注,即半监督(semi-supervised)学习研究的内容。该论文使用GAN来生成行人实例样本,训练一个行人类别分类器,用该分类器对未标注的图片进行扫描分类,得到未标注图片的伪标注,最后使用有标注的数据和伪标注的数据训练重新训练检测器。Semi-supervised.适用情景:部分...原创 2019-11-02 11:19:33 · 388 阅读 · 0 评论 -
VGG-16 笔记
VGG-16Karen Simonyan 在《Very Deep Convolutional Networks for Large-scale Image Recognition》中讨论了卷积网络的深度对其在大规模图像识别的准确性的影响。作者比较了5中不同深度的卷积网络,其中深度为16的网络——VGG-16成为一种经典的网络架构。许多网络都是在VGG-16的基础上删除和添加其他层。VGG-...原创 2018-09-08 14:25:36 · 8868 阅读 · 1 评论 -
《Spatial Memory for Context Reasoning in Object Detection》笔记
Introduction人是利用图像中的context来识别图像中的内容。在图像的目标检测任务中,一种很理所当然的改进方法就是利用图像中的context来推测图像中的对象。该论文提出了两种context类型,分别是image-level context和instance-level context。该论文显式地利用instance-level context,使用Spatial Memory N...原创 2019-07-11 19:59:08 · 1477 阅读 · 0 评论 -
《Deformable Convolutional Network》笔记
IntroductionDeformable Convolutional Network 对卷积或池化的核的每个位置增加一个偏移量,与图片在非常规的滑动窗口中进行卷积或池化操作,以有效地对对象的空间形变进行建模。Deformable ConvolutionDeformable Convolution 首先通过一个卷积分支计算出卷积核的偏移量offsets。先对input feature ma...原创 2019-07-16 16:32:36 · 163 阅读 · 0 评论 -
《Relational inductive biases, deep learning, and graph networks》笔记
该论文的作者来自AI界的两大组织——DeepMind和Google Brain,应该都是大牛。该论文主要回顾和总结现有的图网络,统一和扩展现有的方法,提出了自己的图网络结构 graph networks。Combinatorial generalization论文首先提出了一个观点:组合泛化combinatorial generalization。人类智慧的一个关键特征是能够“无限地使用有限的...原创 2019-08-04 14:31:45 · 512 阅读 · 0 评论 -
《R-FCN: Object Detection via Region-based Fully Convolutional Networks》笔记
Introduction目标检测网络的backbone一般是分类网络,用网络的最后一层feature map的特征进行对目标的分类和定位。分类网络的高层feature map包含的是高层语义信息,具有平移不变性。平移不变性有助于分类任务,但是会影响目标定位,目标定位需要位置敏感的特征信息。平移不变性和平移变性这个两个矛盾的需求限制了目标检测网络的精度。作者实现了一个基于区域的全卷积网络R-FCN...原创 2019-08-11 11:06:09 · 194 阅读 · 0 评论 -
《Deformable part-based fully convolutional network for object detection》笔记
Introduction该论文参照传统目标检测方法DPM,在基于R-FCN的基础上,给网络添加了检测目标的部分形变的功能。把目标分成k×kk \times kk×k个网格部分,考虑到目标的各个部分在不同的场景下可能会发生形变或位置偏移,DP-FCN在R-FCN的结构上添加检测目标部分偏移量的额外结构。在网络中加入额外的目标形状位置信息,提高网络的目标检测的精度。Deformable part-...原创 2019-08-16 10:38:05 · 257 阅读 · 0 评论 -
《Learning Region Features for Object Detection》笔记
MotivationRoI pooing 是把 RoI 分成整齐的网格状的 bins,一共k×kk \times kk×k个 bins,在每个 bins 进行 pooling。这样一个RoI能够提取出k×k×ck \times k \times ck×k×c个特征(c表示通道数)。把RoI分成网络状的bins是hand-crafted,区域特征提取的方式可以设计的更加通用,而且减少人为的设计,即...原创 2019-09-14 18:54:06 · 219 阅读 · 0 评论 -
《FreeAnchor: Learning to Match Anchors for Visual Object Detection》笔记
Introduction在目标检测中,从图片上预测出一些region proposals,这些region proposals会与预先设置好的anchors进行匹配,匹配的方式是nms,超过给定IoU阈值就匹配,否则不匹配。这种通过IoU指标进行匹配有缺点:在空间上对齐的region proposal,从它提取出来的特征不一定能够很好地预测object的类别和位置。论文给出了例子,对于长条形状的...原创 2019-09-23 09:18:20 · 1956 阅读 · 0 评论 -
《Focal loss for dense object detection》笔记
目标检测中,类别不平衡问题很严重,特别是背景类和其他目标类的不平衡。一阶算法在一张图片上大概会评估104−10510^4-10^5104−105个候选位置,只有一些位置含有objects。训练样本类别不平衡会影响训练效果,导致分类器更倾向于预测数量非常多的背景类。针对这个问题,focal loss 把容易分类的类别的loss相对降低,其他类别的loss相对提高,从而保证网络能够正确学到东西。Fo...原创 2019-09-25 19:40:26 · 192 阅读 · 0 评论 -
《Structure Inference Net》笔记
Introduction这是一篇关于利用图像信息(scene-level context)和对象关系信息(object-object relationships)的目标检测网络。该论文把图像上的对象和对象之间的关系建模成一个图网络,如下图所示,每一个检测对象是图网络中的一个结点,而对象之间的关系(object-object relationship)是图网络的边。图网络包括结点VVV、有向边EE...原创 2019-07-15 16:14:03 · 748 阅读 · 0 评论 -
《Relation Networks for Object Detection》笔记
Introduction上下文信息或对象之间的关系有助于对象识别。该论文提出了一个对象关系模块,类似于自然语言处理的注意力机制。该对象关系模块使用对象的外貌特征和几何特征。后者模拟对象之间的空间关系,仅考虑它们之间的相对几何关系,使模块具有平移不变性——对象识别的理想属性。该对象关系模块对对象的外貌特征和几何特征进行加权操作得到新的特征,提高了目标检测的预测精度。同时,对象关系模块可以用于替换N...原创 2019-07-13 15:34:37 · 251 阅读 · 0 评论 -
SPPnet笔记
论文:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionMotivationR-CNN等神经网络都要求输入图片是固定尺寸,比如R-CNN要求输入图片是224×224,这样就限制了其他长宽比和其他尺寸的输入图片。不同长宽比和不同尺寸的输入图片是有意义的,首先,图片数据都不是同一尺寸的,他们大小...原创 2018-09-22 18:27:58 · 258 阅读 · 0 评论 -
OverFeat笔记
论文:OverFeat: Integrated Recognition, Localization and Detection using Convolutional NetworksAbstractOverFeat可以解决计算机视觉领域的三大任务:分类、定位、检测。这三个任务的区别是:图片分类:给定一张图片,为每张图片打一个标签,说出图片是什么物体,然而因为一张图片中往往有多个物体,因...原创 2018-09-22 18:24:00 · 748 阅读 · 0 评论 -
Non-local Neural Networks 笔记
Non-local Neural Networks基于non-local means的思想捕获远程依赖,提高了视频分类和图片分类的分类精度。Motivation捕获远程依赖性在深度神经网络中至关重要。对于序列数据,捕获远程依赖的主要方法是循环操作(循环网络)。对于图片数据,捕获远程依赖的方法是使用一叠卷积层来获取大的接收域。卷积和循环操作都是处理局部的邻近区域(local neighb...原创 2018-09-15 14:29:12 · 850 阅读 · 0 评论 -
FPN笔记
论文:Feature Pyramid Networks for Object DetectionMotivation许多图像识别的检测算法都考虑到不同尺寸图片(multi-scale)对算法的影响。下图是几种利用不同尺寸特征的策略。a. 图像金字塔,生成不同尺寸的图片,每张图片生成不同的特征,分别进行预测,最后统计所有尺寸的预测结果。这种方法最大的缺点是运算时间长,很难用于训练,在测试的时候...原创 2018-09-24 20:21:06 · 828 阅读 · 0 评论 -
Alexnet 笔记
AlexnetAlexnet是一种经典的CNN网络架构。他的作者Alex Krizhevsky在论文中提出了许多训练CNN网络的技巧,同时得出结论:CNN模型的深度越深,CNN模型的表现效果越好。Alexnet Architecture论文中Alexnet的Architecture图是 这个图应该有个错误,输入图像的大小应该是227×227227×227227 \times ...原创 2018-09-06 17:04:12 · 538 阅读 · 0 评论 -
《Siamese Neural Networks for One-shot Image Recognition》笔记
1 MotivationMachine learning often break down when forced to make predictions about data for which little supervised information is available.One-shot learning: we may only observe a single exampl...原创 2018-08-24 19:56:21 · 1273 阅读 · 1 评论 -
Fast R-CNN 笔记
1 Motivation作者之前提出的R-CNN速度实在是太慢了,无论是在训练过程还是在预测过程,速度都难以让人忍受。SPPnet 改进了R-CNN运行慢的缺定,但是 SPPnet 不能对 spatial pyramid pooling 层进行 fine-tune,这就限制了深度网络的精度。作者提出了新的网络—— Fast R-CNN,结合了 R-CNN 和 SPPnet 的优点,同时改正了二...原创 2018-08-24 19:31:25 · 289 阅读 · 0 评论 -
Faster R-CNN 笔记
Faster R-CNNR-CNN, Fast R-CNN 和 Faster R-CNN 是目标检测的三部曲,作者不断地创新和吸纳新的思想和算法,从而R-CNN系列算法的运行速度越来越快,同时检测精度也不断提高。R-CNN 是目标检测历史上的一个里程碑,它提出来的思想——提取 region proposals, 然后对每个region proposal用卷积网络进行识别,最后用回归算法对目标边...原创 2018-08-31 19:22:47 · 279 阅读 · 0 评论 -
Selective Search 笔记
Selective Search 简介Selective Search 算法来时论文Selective Search for Object Recognition。Selective Search 通过颜色、纹理、大小等特征的相似度把图像分成许多个不同的区域。目标检测算法可以从这些区域中检测对象,加快检测速度。经典的R-CNN算法就使用了 Selective Search 算法来选取候选区域。...原创 2018-08-19 23:12:11 · 621 阅读 · 0 评论 -
R-CNN 笔记
论文地址:https://arxiv.org/pdf/1311.2524.pdf简介R-CNN(Regions with CNN features),是将 CNN 方法应用到目标检测问题的一个里程碑。作者在提出了两个观点:可以将高容量卷积神经网络(CNN)应用于自下而上的 region proposals,以便对对象进行定位和分割,当做了标签的训练集数量稀缺时,使用预训练的 C...原创 2018-08-18 16:30:38 · 246 阅读 · 0 评论 -
Mask R-CNN 笔记
何恺明大神的Mask R-CNN获得ICCV最佳论文奖。Mask R-CNN通过扩展Faster R-CNN来实现实例分割,同时还可以用于人体关键点检测。语义分割 VS 实例分割首先说说语义分割和实例分割的区别。语义分割是分割不同类别,而实例分割在分割类别的同时分割类别的实例,通过下面的图片来更好地理解二者的区别实例分割比语义分割更难一些。Mask R-CNNArchitecture...原创 2018-10-07 21:25:40 · 685 阅读 · 0 评论 -
Harmonic Networks 笔记
论文:Harmonic Networks: Deep Translation and Rotation Equivariance变换等变性 (Transformation Equivariance)直接将输入变换与特征向量变换相关联的所追求的属性称为等变性。换另外一种说法,就是输入图片变换之后,feature map产生相应的变换,比如图片产生平移,feature map也发生了平移,图片旋转...原创 2018-10-14 19:30:27 · 3037 阅读 · 2 评论 -
SIFT论文翻译
Abstract本文提出了一种从图片中提取独特不变特征的方法,该方法可用于在对象或场景不同师徒之间执行可靠匹配。这些特征对于图像比例和旋转是不变的,并且被示为在大范围的仿射失真、3D视点变换、噪声的增加和光照的变化中提供鲁棒的匹配。这些特征非常独特,在某种意义上,单个特征可以与有许多图像的大型特征数据库高概率地正确匹配。本文还介绍了使用这些特征进行对象识别的方法。通过使用快速最近邻算法将各个特征...原创 2019-06-06 14:03:25 · 1444 阅读 · 0 评论 -
Batch Normalization的重新解释
有篇论文对于Batch Normalization(BN)如何加快网络的训练过程提出了新的看法,该论文为《How Does Batch Normalization Help Optimization?》Internal Covariate Shift首先说说BN提出来是针对什么问题的。BN那篇论文针对的问题是Internal Covariate shift (ICS),具体地说,在训练过程中,...原创 2019-03-25 16:55:58 · 431 阅读 · 0 评论