极市平台的技术博客

作者丨小马编辑丨极市平台写在前面由于Transformer对于序列数据进行并行操作，所以序列的位置信息就被忽略了。因此，相对位置编码(Relative position encoding, RPE)是Transformer获取输入序列位置信息的重要方法，RPE在自然语言处理任务中已被广泛使用。但是，在计算机视觉任务中，相对位置编码的有效性还没有得到很好的研究，甚至还存在争议。因此，作者在本文中先回顾了现有的相对位置编码方法，并分析了它们在视觉Transformer中应用的优缺点。接着，作者提出了新的

本文首发于极市平台，作者happy，转载须经授权并注明来源paper: https://arxiv.org/abs/2107.08430code: https://github.com/Megvii-BaseDetection/YOLOX本文是旷视科技在目标检测方面的最新技术总结，同时也是CVPR2021自动驾驶竞赛冠军方案的技术总结。本文将近两年来目标检测领域的各个角度的优秀进展与YOLO进行了巧妙地集成组合(比如解耦头、数据增广、标签分配、Anchor-free机制等)得到了YOLOX，性能

作者丨小马编辑丨极市平台写在前面目前正常卷积的感受野大多都是一个矩形的，因为矩形更有利于储存和计算数据的方便。但是，人类视觉系统的感受野更像是一个圆形的。因此，作者就提出，能不能将CNN卷积核的感受野也变成圆形呢？作者通过一系列实验，发现了圆形的卷积核确实比方形的卷积效果会更好。基于此，作者在本文中提出了一种卷积核大小可变的并且聚合了方形和圆形特点的集成卷积核。作者在模型训练结束后，采用了一种重参数的方法对模型的结构和参数进行修改，使得模型在inference的时候并没有引入额外的参数量和计算量。最终

作者丨小马编辑丨极市平台先验知识Transformer最近在CV领域展现出了不错的效果，Vision Transformer（ViT）的大致流程可分为两步：1）因为Self-Attention（SA）的计算复杂度是和输入特征的大小呈平方关系的，所以如果直接将224x224的图片输入到Transformer中，会导致计算量的“爆炸”。因此，ViT的第一步是将图片转换成更小的token（比如16x16），然后将这些token进行flatten后输入到Transformer中。2）利用Transform

原文链接：何恺明团队新作！深度学习网络架构新视角：通过相关图表达理解神经网络导语：恺明大神出品，必属精品。Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索，提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。这种相关图的表示方式、实验发现等确实挺有意思，也与现有网络结构设计有一定相通之处，故推荐各位同学。Abstract神经网络通用被表示成图的形式(即神经元之间通过边进行链接)，尽管这种表示方式得到了广泛应用，但关于神经网络结构与性能之间的关系却

原文链接：打破常规，逆残差模块超强改进，新一代移动端模型MobileNeXt来了！精度速度双超MobileNetV2导语：该文是依图科技&新加坡国立大学颜水成大佬团队提出的一种对标MobileNetV2的网络架构MobileNeXt。它针对MobileNetV2的核心模块逆残差模块存在的问题进行了深度分析，提出了一种新颖的SandGlass模块，并用于组建了该文的MobileNeXt架构，SandGlass是一种通用的模块，它可以轻易的嵌入到现有网络架构中并提升模型性能。该文应该是近年来为数不多

原文链接：Facebook 最新力作 FBNetV3来了！相比 ResNeSt 提速 5 倍，精度不输 EfficientNetFBNetV1：https://arxiv.org/abs/1812.03443FBNetV2: https://arxiv.org/abs/2004.05565FBNetV3: https://arxiv.org/abs/20206.02049今天逛arxiv时看到了FBNetV3一文，虽然笔者对NAS相关方法并不感冒，但考虑到FBNetV3都出来了，V4出的可能并不大

原文链接：不仅搞定“梯度消失”，还让CNN更具泛化性：港科大开源深度神经网络训练新方法paper: https://arxiv.org/abs/2003.10739code: https://github.com/d-li14/DHM该文是港科大李铎、陈启峰提出的一种优化模型训练、提升模型泛化性能与模型精度的方法，相比之前Deeply-Supervised Networks方式，所提方法可以进一步提升模型的性能。值得一读。Abstract时间见证了深度神经网络的深度的迅速提升(自LeNet的

关注极市平台公众号（ID：extrememart），获取计算机视觉前沿资讯/技术干货/招聘面经等原文链接：大盘点｜卷积神经网络必读的 100 篇经典论文，包含检测 / 识别 / 分类 / 分割多个领域参考｜学术头条编辑｜极市平台作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉等领域上取得了当前最好的效果。1998 年，Yann LeCun提出LeNet-5，将 BP 算法应用到神经网络结构的训练上，形成当代CNN雏形。201