abrams90的专栏

Abstract当前Transformer结构已经变成了事实上标准自然语言处理任务，它在计算机视觉的应用还存在限制。在视觉中，注意力机制也用到了与卷积网络的结合，或者用来在保持整体结构不变的情况下替代特定组件。我们注意到这样的依赖性在CNN网络中并不是必须的，单纯对一系列图像块使用transformer也可以去的图像分类任务上很不错的成绩。当在大规模数据上进行预训练，迁移到多个中型或者小型是被benchmark（ImageNet，CIFAR-100，VTAB等）时，Vision Transformer（

Abstract 神经网络使得在像目标检测这样的计算机视觉任务中取得了SOTA的效果。然而，这巨大的成功十分依赖计算资源的消费，这阻碍了使用廉价芯片的用户使用先进的技术。本文我们提出了Cross Stage Partial Network（CSPNet），从网络结构的角度缓解之前的工作依赖大量前向计算的问题。我们将问题归结为网络优化过程中梯度重复的问题。我们提出的方法从网络从始至终的不同阶段通过考虑到梯度变化的特征图整合，在我们的实验中，模型在ImageNet数据集降低了20%的计算量，并...

CutMix：Regularization Strategy toTrain Strong Classifierswith Localizable FeaturesAbstract区域dropout策略被提出来用于增强神经网络分类器的表现。他们可以引导模型更关注目标共性的部分（腿部而不是头部），使得网络有更好的通用性，有更好的目标定位能力。此外，当前区域dropout将训练样本上通过叠加黑色或者其他噪声块来移除有效信息像素。这种移除并不理想因为它会导致有效信息丢失导致训练效率降低。因此我们提出C..

Abstract： 本文提出了一个包含丰富的目标检测与实力分割算法以及相关组件与模块的目标检测工具箱，称为MMDetection。这个工具箱最开始是作为COCO Challenge2018检测跟踪冠军队伍的codebase。最终这个工具箱演化成了一个包括许多流行的目标检测方法与相关模块的统一平台。它不仅包括训练与推理代码，还提供了超过200种网络模型权重。我们认为这个工具箱是目前最完善的检测工具箱。本文中，我们会介绍这个工具箱的多样化特征。此外，我们还对不同方法、组件以及超参数进行了ben...

摘要：现有的视觉表达学习任务中，深度神经网络通常由单个标签的图像训练而来，例如ImageNet。然而单个标签很难描述样本中所有的重要内容，有些有用的视觉信息在训练时可能会浪费掉了。本文中，我们期望利用多标签的图像训练CNNs，从而增强训练出来的CNN模型的表达质量。为了达到目的，我们建立一个包含18M图像，11K类别的大规模多标签样本集，称为Tencent ML-Images。我们高效的利用大...

Abstract动态人体骨架为行为识别承载着重要的信息。传统的骨架建模方法通常依赖于手工设计的部件与便利规则，这导致了表达能力的限制与通用性的难题。本文中，我们提出了一种先进的动态骨架模型称为Spatial-Temporal Graph Convolutional Networks（ST-GCN），这种方法通过自适应学习数据的空间与时间模式来解决之前方法的局限性。这种提法不仅带来了更好的表达能...

Abstract 本文提出了一种基于卷积神经网络的可扩展半监督学习方法，该方法可以直接对图进行学习。我们通过图卷积的局部一阶近似来进行卷积结构的选择。我们的模型在图边缘数量上线性扩展，并且学习了编码局部图结构和节点特征的隐层表示。在引用的网络和知识图数据集上的大量实验表明，我们的方法比相关方法有显著的优势。1、Introduction 我们考虑在图(如引用网...

Abstract 我们介绍了一种语言表达模型称为BERT，也就是Transformer的双边编码表示。与当前语言表达模型不同（Peters et al., 2018a; Radford et al., 2018），BERT设计通过考虑所有层左右上下文对为标注过的文本进行深度双边表达的预训练。因此，预训练BERT模型可以通过只增加一个额外的输出层进行finetuned，从而在很多任...

Abstract CV是一种机器理解与分析图像的过程，是人工智能的一个重要分支。在CV众多的研究领域中，细粒度图像分析（FGIA）是一个持续基础的工作，是真实世界应用中普遍存在的问题。FGIA的目标是区分视觉目标的子类别，例如，鸟的类别或者车辆的类别。细粒度特性导致的小类内变化与大类间变化使得细粒度分类称为一个具有挑战性的问题。随着深度学习爆炸式的发展，近些年来FGIA利用深度学习技...

Abstract基于相机的目标检测与自动驾驶最近几年整体发展迅速。部分这些改进可以归因于公共数据集，使得全世界的研究者可以利用这些数据进行研究，避免个体队伍花费大量的时间收集与标注数据。当前车辆检测数据集与方法通常专注于解决坐标轴平行的bbox或者语义分割任务。坐标轴平行bbox通常会对车辆大小表示失真并且引入临近的道路内容。语义分割会更加精确，但是他们更难处理与应用在轨迹规划系统中。我...

Abstract利用RGB单张图片在真实3D场景进行目标定位由于图像投影过程几何信息的丢失变得相当困难，而这个工作在场景理解中有相当重要的作用。我们提出了通过观察到的2D投影与未观察到的深度维度进行几何推理，用于单目RGB图像三维定位的MonoGRNet算法。MonoGRNet是一个由四个特定子任务网络组成的单一统一的网络结构，四个子任务分别是2D目标检测，实例深度估计（IDE），3D定位与本...

BoxCars：Improving Fine-Grained Recognition of Vehicles using 3D Bounding Boxes in Traffic SurveillanceAbstract本文中我们专注于交通应用中的细粒度车辆识别研究。本文提出了一种与当前细粒度识别（自动部件识别，bilinear pooling）发展方向一致的算法。此外，与其它专注于细粒度...

Abstract本文提出了一种从单RGB图片中进行车辆识别的先进学习框架。与现有利用attention机制定位有识别力的2D信息不同，本文的标准框架对2D全局特征与3Dbbox利用互相关与强化学习的方式进行联合表达学习。这两种特征表达通过先进的融合网络进行组合，网络进行车辆类型预测。全局2D特征通过常见的检测网络提取，2Dbbox估计帮助找到ROI。通过Roi的帮助，3DBbox与相应的...

摘要：本文我们描述了一种新的mobile结构称为MobileNetV2，改进了模型在多个tasks与benchmarks以及不同大小模型的SOTA。我们还描述了一个将这些mobile模型应用在目标检测中的新框架，称为SSDLite。此外，我们还介绍了如何通过改进DeepLabv3构建我们称为DeepLabv3的mobile语义分割模型。网络基于反转残差结构，shortcut位于thin ...

原文链接：https://arxiv.org/pdf/1905.02244.pdf摘要：本文展示了基于互补搜索技术（complementary search）与先进网络结构设计的新一代mobilenet。MobileNetV3通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法，对移动端的cpu进行调优，然后通过新的架构改进对其进行改进。本文一开始探索了如何才能使自动搜索算法...

摘要公共安全领域视频监控数量爆炸性的增长将大规模车辆数据库的检索技术推到风口浪尖。精准车辆检索需要根据输入的查询图片查找出所有目标。车辆检索的难度在于相同视觉特征的车型之间可能十分相似。为了解决这个问题，文章提出了RepNet，一种多任务的网络结构来同时学习每个目标的大体特征与精细特征。此外受益于特征分类的高准确率，提出了一种bucket search方式来减少检索时间，并基本保持准确率...

摘要：我们对YOLO做了更新。我们做了一些列的小设计来优化效果。我们训练了这个新网络。与上次相比网络变大了但准确率更高。但不用担心，速度还是很快。320×320的YOLOv3在与SSD一样28.2mAP时只需22ms，是SSD的三倍快。在YOLOv3上使用原来0.5的IoU阈值检测mAP的效果非常好。算法在TitanX上AP50达到了57.9，速度51ms，RetinaNet则用198m...

Abstract我们提出了一种通过从数据中进行相似度度量训练的方法。本方法可以用在识别或者认证应用，这些应用中类别很多且训练时未知，并且单个类别的训练数据数量很少。主要的思想是学习一个函数，将输入映射到目标空间中，使得目标空间中的L1距离基本与输入空间中的语义特征一致。这种方法应用到了人脸认证任务中。学习过程最小化具有区分度的损失函数，使得两个来自相同人的人脸相似度度量变小，不同人的人脸...

Abstract大规模神经网络功能很强大，但是显现出了不如预期的一些表现，例如对攻击样本的记忆力与敏感度。本文中，我们提出了一种缓解issues的学习原则称为mixup。总的来说，mixup通过对样本对及标签进行凸融合来训练深度神经网络。这样使得神经网络在训练任务调整成为它最擅长的简单线性学习。我们在ImageNet-2012，CIFAR-10，CIFAR-100，Google comm...

Abstract这些年来目标检测领域经历了令人印象深刻的进展。除了这些改进，在小目标检测与大目标检测领域还是有不小的差距。我们在MS COCO上分析了当前SOTA的模型Mask-RCNN。研究成果展示GT目标与预测的anchors的重叠远远小于期望的IoU阈值。我们猜测这可能是由两个情况导致的：1、只有少部分样本包含小目标；2、及时在包含小目标的样本中，小目标的数目也不够。我们因此提出过...

Abstract与大量为了得到更好的图像分类模型的研究相比，研究人员在目标检测训练上的研究会由于它的普遍性与普及性的影响少得多。由于复杂多的网络结果，优化目标，许多训练阶段与pipline是专门为检测算法设计的，别的并不通用。本文中，我们研究通用的模型微调技巧，使得在不牺牲inference速度的前提下，增强state of the art目标检测模型的表现到一个新的水平。我们的实验展示...

摘要：图像分类任务当前取得的很多进展都可以归功于训练程序的优化，例如数据扩展与优化的方法。在文献中，大多数改进要不是作为实现细节简单提到，就是仅仅在源码中展现。本文中，我们会验证一系列这样的改进，并且利用切除实验的思想在实验中验证这些改进的效果。实验结果显示，通过将这些改进组合在一起可以显著的提升一些CNN模型的表现。例如，我们将RestNet50在ImageNet上的top1准确率从7...

摘要本文意在研究一个简单有效的行人重识别（ReID）baseline。近些年来基于深度学习的ReID取得了不错的进展，取得高光的表现。然而许多state-of-art的方式都是通过复杂的网络结构与多分枝特征拼接实现的。文献中有些高效的训练技巧简略的出现在一些论文或者源码中。本文将手机并且评估这些行人重识别的高效训练技巧。将这些技巧组合在一起，仅仅使用全局特征就可以在Market1501上...

写在前面MachineLearningYearing这本书是一本很好的工程化指导性书籍。本文在官方翻译版出来前为了加强理解，自行翻译了前30多章。Machine Learning Yearing前言为什么要使用机器学习策略机器学习是许多重要应用的基石，包括网页搜索、反垃圾邮件、产品推荐等等。我假设你或者你的团队正在跟进一个机器学习应用，你希望让项目的进度加快。本书将帮助你达到...

概述人群行为分析算法分为四个主要方向：1、行人检测(Pedestrian Detection)2、人群计数(Crowd Counting)3、人群密度分析(Crowd Density Estimation)4、人群状态分析(Crowd Behaviour Analysis)人群计数与人群密度分析为其中重要的组成内容。人群计数与人群密度分析算法通常的方法大致可以分为三种:

目前有两种常见的图片目标检测方式，一种是基于滑动窗的，一种是基于目标区域提取与分类的。在深度学习时代之前，Deformable Part Model（DPM）与Selective Search是效果最好的方法，他们的效果差距不大。R-CNN的提出的区域提取与分类的的思路结合卷积神经网络强大的能力，使得R-CNN成为了最流行也是效果最好的方法。        R-CNN的方法有很多的改进。最初R

SSD: Single Shot MultiBox Detector摘要：我们提出了一个用单个深层神经网络进行目标检测的算法。SSD的算法将区域离散到一系列每个特征图区域上不用比例与尺度的默认区域。预测时，网络对存在的每个目标类在默认区域的概率进行预测，并对框的位置进行微调使之框的更精确。此外，网络将多特征图的预测结果与不同解决方案进行融合，来处理不同尺寸的区域。我们的SSD算法对区域提...

Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks摘要：前沿的目标检测网络通过区域提取（regionproposal）算法来预测目标的位置。SPPnet与Fast R-CNN算法已经一部分改进了时间的问题，当前的瓶颈在于区域提取上。本文中，我们提出了一种与检测网络共享全卷积特征的区域提...