自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(158)
  • 收藏
  • 关注

原创 ICCV2021-Soft Teacher-End-to-End Semi-Supervised Object Detection with Soft Teacher

前言:SSL(Semi-Supervised Learning)半监督学习,由于其可以合理利用大量无标注数据的属性,一直是CV研究的一个重要方向。最近看到微软在ICCV2021发表的一篇新论文Soft Teacher,在结合sota的检测和实例分割网络之后,直接刷榜相关的LeaderBoard,所以及时跟进一下。SSL目前在分类和检测网络上应用的比较广泛,常用多阶段的学习方式,具体来说就是先基于标注好的数据训练一个基准网络;然后对未标注的数据推理输出结果,通过设置较高的阈值得到对应的伪标签(图.

2021-11-23 20:05:55 6915 5

原创 RepVGG-重参数化Backbone | Making VGG-style ConvNets Great Again

Abstract:本文提出了一个简单但功能强大的卷积神经网络架构,该架构推理时候具有类似于VGG的骨干结构,该主体仅由3 x 3卷积和ReLU堆叠组成,而训练时候模型采用多分支拓扑结构。 训练和推理架构的这种解耦是通过结构重参数化技术实现的,因此该模型称为RepVGG。 在ImageNet上,据我们所知,RepVGG的top-1准确性达到80%以上,这是老模型首次实现该精度。 在NVIDIA 1080Ti GPU上,RepVGG模型的运行速度比ResNet-50快83%,比ResNet-101快101%.

2021-01-12 20:35:45 2283 2

原创 RIFE-实时视频插帧算法 | RIFE:Real-Time Intermediate Flow Estimation for Video Frame Interpolation

关注一下实时视频插帧算法论文地址:https://arxiv.org/pdf/2011.06294.pdfGithub地址:https://github.com/hzwer/arXiv2020-RIFEAbstract:我们为视频帧插值(VFI)提出了一种实时中间流估计算法RIFE (Real-Time Intermediate Flow Estimation)。 现有的大多数方法首先估计双向光流,然后将它们线性组合以近似中间流,从而导致运动边界周围出现伪影。 我们设计了一个中间流模型IFNe.

2020-11-30 15:44:09 11212 1

原创 实时车道线检测算法 | LaneATT-250FPS && LSTR-420FPS

车道线检测领域突然飞速发展,关注一下论文地址:https://arxiv.org/pdf/2010.12035.pdfGithub地址:https://github.com/lucastabelini/LaneATTAbstract:现有车道线检测方法在复杂的现实世界场景中已取得了卓越的性能,但是许多方法都存在运行实时效率的问题,这对于汽车的自动驾驶来说至关重要。在这项工作中,我们提出了LaneATT:基于anchor的深度车道线检测模型,类似于其他通用的深度目标检测器,该模型将anchors.

2020-11-22 14:46:43 10188 5

原创 NIPS2020-RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder

Abstract:现有的目标检测框架通常建立在目标/部分表征的单一形式上,即RetinaNet和Faster R-CNN中的anchor/proposal矩形框,FCOS和RepPoints中的中心点以及Corner-Net中的角点表示。尽管这些不同的表示形式通常会促使框架在不同方面表现良好,例如更好的分类或更好的定位,但是由于异构性或者通过不同表征提取到的非网格特征,通常很难将这些表示形式组合到单个框架中以充分利用每种优势。本文提出了一种基于注意力的解码器模块,与Transformer 中的模块类似,.

2020-11-16 10:43:54 961

原创 高效注意力机制集合-SE进阶版--更新SRM

近期论文针对SE注意力机制改进的论文逐渐出现,在此记录一下。具体有没有效果,建议各位自己尝试一下。也希望同学们能推荐一下轻量好用的注意力机制给我…1.ECA-Net : Efficient Channel Attention for Deep Convolutional Neural Networks-CVPR2020论文地址:https://arxiv.org/pdf/1910.03151.pdfGithub地址:https://github.com/BangguWu/ECANet创新点:将.

2020-09-27 14:06:11 8572 1

原创 VarifocalNet-单阶段目标检测SOTA | VarifocalNet: An IoU-aware Dense Object Detector

新提出的单阶段检测网络(工作后看论文的时间越来越少)论文地址:https://arxiv.org/pdf/2008.13367.pdfGithub地址:https://github.com/hyz-xmaster/VarifocalNetAbstract:对大量的候选检测进行准确排序对于优异表现的目标检测器来说非常重要。然而之前的研究工作使用分类得分或者与IOU-based定位得分联合起来作为排序的依据,它们都不能可靠地表示排序,这会损害检测性能。本文中,我们提出去学习IOU感知的分类得分(I.

2020-09-13 20:15:34 9226 1

原创 CVPR2020-PISA-目标检测prime采样新方法 | Prime Sample Attention in Object Detection

Github地址:https://github.com/open-mmlab/mmdetection.Abstract:在目标检测框架中,将所有样本均等对待并以平均性能最大化为目标是一种常见的范例。在这项工作中,我们通过仔细研究不同样本如何对以mAP衡量的整体表现做出贡献的方式来重新研究此范例。我们的研究表明,每个mini-batch中的样本既不是独立的,也不是同等重要的,因此,更好的分类不一定会导致更高的mAP。出于本研究的动机,我们提出了“ Prime Samples”(主样本)的概念,这些.

2020-06-28 15:12:09 4612 2

原创 CVPR2020-SEPC-单阶段目标检测提升4个点 | Scale-Equalizing Pyramid Convolution for Object Detection

启发应该是来源于SIFT中高斯金字塔带来的尺度不变性。论文出来很久了,感觉的确创新点很强,效果也是爆炸!论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Wang_Scale-Equalizing_Pyramid_Convolution_for_Object_Detection_CVPR_2020_paper.pdfGithub地址:https://github.com/jshilong/SEPCAbstract:特征金字塔已.

2020-06-23 22:20:23 2068 1

原创 ECCV2020-DNL-解耦Non-Local模块增益1.5-3个点 | Disentangled Non-Local Neural Networks

在Non-Local的基础上还能提高这么多,问题分析的也很透彻,就是文章有点难读,有解读错误的地方,请不要见怪!论文地址:https://arxiv.org/pdf/2006.06668.pdfAbstract:Non-Local块是一种流行的模块,用于增强常规卷积神经网络的上下文建模能力。本文首先深入研究了Non-Local块,我们发现它的注意力计算可以分为两项,一个经过白化的成对项解释了两个像素之间的关系,一个一元项代表了每个像素的显著性。我们还观察到,单独训练的两项往往会为不同的视觉线索建.

2020-06-13 23:04:56 5235 4

原创 DetectoRS-最强目标检测网络 54.7AP | Detecting Objects with Recursive Feature Pyramid and Switchable Atrous

最新目标检测论文,从检测的骨干网络设计出发,效果直接SOTA!论文地址:https://arxiv.org/pdf/2006.02334.pdf、Github地址(基于mmdet):https://github.com/joe-siyuan-qiao/DetectoRSAbstract:一些现有的目标检测器已经证明了,通过使用两次观察和思考的机制,能够表现出优秀的性能。 在本文中,我们探索了将这种机制用于目标检测的主干设计中。 在宏观级别,我们提出了递归特征金字塔,它结合了从特征金字塔网络到自.

2020-06-04 22:05:25 3854 6

原创 CVPR2020-SCNet-自校准卷积网络 | Improving Convolutional Networks with Self-calibrated Convolutions

南开程明明组的论文,在目标检测上面效果很好,而且没有提升模型复杂度论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdfGithub:https://github.com/backseason/SCNet论文主页:https://mmcheng.net/scconv/Abstract:CNN的最新进展主要致力于设计更复杂的体系结构,以...

2020-05-01 12:35:35 7783 1

原创 Stitcher-小目标检测算法 | Stitcher: Feedback-driven Data Provider for Object Detection

刚出来的小目标检测论文论文地址:https://arxiv.org/pdf/2004.12432.pdfAbstract:目标检测器通常会根据尺寸具有不同质量,其中小物体的性能最不令人满意。在本文中,我们研究了这种现象,并发现:在大多数训练迭代中,小目标的损失对总损失几乎没有贡献,导致优化不平衡导致性能下降。受此启发,我们提出Stitcher,它是一种反馈驱动的数据提供者,旨在以平衡的...

2020-04-29 22:37:47 2447 3

原创 CVPR2020-CPNet:语义分割探索不同类别上下文先验 | Context Prior for Scene Segmentation

Abstract:最近的语义分割工作广泛探索了上下文相关性,以实现更准确的细分结果。但是,大多数方法很少区分不同类型的上下文依赖项,这可能会有损场景理解。在这项工作中,我们直接监督特征聚合以清楚地区分类内和类间上下文信息。具体来说,我们在Affinity Loss监督下开发出上下文先验。 给定输入图像和相应的gt,Affinity Loss将构建理想的类似的特征图,以监督上下文先验的学习。 所...

2020-04-08 22:45:03 2693

原创 CVPR2020- 频域学习一半的数据输入,提升MASK RCNN | Learning in the Frequency Domain

挺新颖的论文Abstract:深度神经网络在计算机视觉任务中取得了显著的成功。现有的神经网络主要在固定输入尺寸的空间域内运行。在实际应用中,图像通常很大,必须向下采样到预定的神经网络输入大小。尽管下行采样操作减少了计算量和所需的通信带宽,但它同时在不影响冗余和显著信息的前提下消除了冗余和显著信息,从而导致精度下降。受数字信号处理理论的启发,我们从频率的角度分析了频谱偏差,提出了一种基于学...

2020-03-10 20:20:55 2135

原创 XSepConv 极致分离卷积块优于DWConv | Extremely Separated Convolution

思想简单有效,准备手动实现一下代码Abstract:DWConv已逐渐成为现代高效神经网络不可或缺的运算,近来更大尺寸的卷积(5X5)也被应用于此。在本文中,我们提出了一种新型的极致分离卷积块(XSepConv),它将空间分离卷积融合成DWConv,以进一步降低计算成本和大核的参数大小。此外,我们使用额外的2X2DWConv加上改进的对称padding策略来补偿空间分离卷积带来的副作用。...

2020-03-09 20:05:40 3587

原创 [模型压缩]--CVPR2020-HRank:Filter Pruning using High-Rank Feature Map

Github重新定义了剪枝规则,从实验效果来看,效率更高Abstract:神经网络剪枝为深度神经网络在资源受限设备上的应用提供了广阔的前景。然而,现有的剪枝方法由于缺乏对非显著网络成分的理论指导,在剪枝设计中存在训练效率低、人工成本高的问题。本文通过对高秩特征图的研究,提出了一种新的滤波剪枝方法。我们的HRank的灵感来自于这样一个发现,即由单个过滤器生成的多个特征图的平均秩总是相同的...

2020-03-01 17:14:01 5267 6

原创 [目标检测]--CVPR2020-ATSS:Bridging the Gap Between Anchor-based and Anchor-free Detection

论文详细解释了anchor-free与anchor-based的本质区别,此外,使用ATSS去尝试解决label assignment的问题摘要:近年来,anchor-based检测器一直主导着目标检测。近年来,anchor-free检测器由于FPN和Focal Loss的引入而受到广泛关注。本文首先指出anchor-based检测与anchor-free检测的本质区别是在于如何定义正、...

2019-12-27 15:20:28 3234 10

原创 [目标检测]--AugFPN:Improving Multi-scale Feature Learning for Object Detection

摘要:\color{#FF3030}{摘要:}摘要:目前最先进的检测器通常利用特征金字塔来探测不同尺度的物体。其中,FPN是多尺度特征累加构建特征金字塔的代表作品之一。然而,其背后的设计缺陷阻碍了多尺度特征的充分利用。本文首先分析了FPN中特征金字塔的设计缺陷,然后引入了一种新的特征金字塔结构——增广FPN (AugFPN)来解决这些问题。具体来说,AugFPN由三个部分组成 : 一致性监督(...

2019-12-18 16:44:47 6034 11

原创 [目标检测]--ECCV2020-SAPD-Soft Anchor-Point Object Detection

摘要:最近,anchor-free检测器在精度和速度上都显示出了超越anchor-based检测器的巨大潜力。在这项工作中,我们的目标是找到一个新的平衡速度和准确性的anchor-free检测器。研究了两个问题:1)如何使anchor-free检测器的头更好?2)如何更好的利用特征金字塔的力量?我们分别将注意偏差和特征选择作为这两个问题的主要问题。我们提出了一种新的训练策略来解决这些问题,该策...

2019-12-02 20:48:17 3989

原创 SimpleTrack-图森3D Track新论文

Abstract:近年来,3D 多目标跟踪 (MOT) 见证了许多新颖的基准测试和方法,尤其在tracking-by-detection范式下的基准测试和方法。尽管它们取得了进步和适用性,但尚无法对其优缺点进行深入分析。在本文中,我们将当前的 3D MOT 方法分解为四个组成部分:检测预处理、数据关联、运动模型和生命周期管理,将它们总结为一个统一的框架。然后我们将现有算法的失败案例归因于每个组件并详细研究它们。基于这些分析,我们提出了相应的改进,从而产生了一个强大而简单的基线:SimpleTrac...

2021-11-26 19:31:25 3738

原创 CVPR2021-YOLOF 单阶段检测网络去除FPN | You Only Look One-level Feature

论文地址:https://arxiv.org/pdf/2103.09460.pdfGithub地址:https://github.com/megvii-model/YOLOF.Abstract:本文回顾了用于一阶段检测器的特征金字塔网络(FPN),并指出FPN的成功在于其对目标优化问题的分治解决方案,而不是多尺度特征融合。从优化的角度来看,我们引入了一种替代方法来解决问题,而不是采用复杂的特征金字塔-仅使用一级特征进行检测。在简单有效的解决方案的基础上,我们提出了“仅看一级特征“(YOLOF)。在.

2021-03-18 22:23:48 1236

原创 CVPR2021-ClassSR | A General Framework to Accelerate Super-Resolution Networks

思想其实很早就有了,关注一下论文地址:https://arxiv.org/pdf/2103.04039.pdfGithub地址:https://github.com/Xiangtaokong/ClassSR/tree/main/codesAbstract:我们旨在加速大图像(2K-8K)上的超分辨率(SR)网络。在实际使用中,通常将大图像分解为小子图像。基于此处理,我们发现不同的图像区域具有不同的复原难度,并且可以由具有不同容量的网络进行处理。凭直觉,光滑区域比复杂纹理更容易复原。为了利用此特.

2021-03-11 19:27:04 2987 3

原创 C++多线程(一)

直接总结多线程写法:1.直接启动函数:#include <iostream>#include <windows.h>#include <thread>void fun1(){ for(int i = 0; i < 3; i++){ std::cout << "fun1" << std::endl; Sleep(500); }}void fun2(){ for(int i = 0; i < 3; i++){

2021-02-24 17:04:52 541

原创 SA-NET-轻量级注意力 | SHUFFLE ATTENTION FOR DEEP CONVOLUTIONAL NEURAL NETWORKS

论文地址:https://arxiv.org/pdf/2102.00240.pdfGithub地址:https://github.com/wofmanaf/SA-Net/blob/main/models/sa_resnet.pyAbstract:注意力机制使神经网络能够准确地专注于输入的所有相关元素,它已成为改善深度神经网络性能的重要组成部分。在计算机视觉研究中广泛使用的注意力机制主要有两种,即空间注意力和通道注意力,它们分别用于捕获像素级成对关系和通道依赖性。尽管将它们融合在一起可能会比其单独.

2021-02-10 10:14:07 11309 7

原创 阿里天池大赛搭建mmdetection Docker镜像提交流程

1.主机上安装Docker2.开通阿里云容器镜像服务可以查看官方链接第二部分3.DockerfileARG PYTORCH="1.6.0"ARG CUDA="10.1"ARG CUDNN="7"FROM pytorch/pytorch:${PYTORCH}-cuda${CUDA}-cudnn${CUDNN}-develENV TORCH_CUDA_ARCH_LIST="6.0 6.1 7.0+PTX"ENV TORCH_NVCC_FLAGS="-Xfatbin -compress-al

2021-02-07 11:06:52 747

原创 EfficientDeRain

Abstract:由于未知的降雨模型,单图像去雨是相当具有挑战性的。现有方法通常对降雨模型做出特定假设,而这些假设几乎无法涵盖现实世界中的许多不同情况,因此必须采用复杂的优化或逐步完善。但是,这严重影响了这些方法对许多对效率至关重要的应用程序的效率。为了填补这一空白,在本文中,我们将单图像去雨作为一般的图像增强问题,并最初提出了一种无模式的去雨的方法,即Efficient-DeRain,该方法能够在10毫秒内处理带雨图像(即平均大约6毫秒),比最先进的方法(即RCDNet)快80倍以上,同时达到相似的去.

2021-01-15 13:41:39 921 2

原创 安卓平台编写C++算法SDK流程

一、需要工具:1.android-ndk-r15c编译器—安卓平台c++编译器2.adb工具—Android Debug Bridge(安卓调试桥) 工具。它就是一个命令行窗口,用于通过电脑端与模拟器或者真实设备交互。可以当做是Android的terminal二、编译部署流程:1.文件结构:如上图所示,整个文件夹主要包含android、jni、libs和opencv310文件夹。其中,jni文件夹存放的是C++源码和配置文件,配置文件里规定了编译所需的头文件、依赖库和生成库等属性。编译生成的安卓

2021-01-05 10:25:15 1391 1

原创 EAN-高效注意力网络 | Efficient Attention Network: Accelerate Attention by Searching Where to Plug

https://arxiv.org/pdf/2011.14058.pdfAbstract:最近,许多即插即用的自注意力模块被提出,以通过利用深度卷积神经网络(CNN)的内部信息来增强模型通用性。先前的工作着重于针对特定功能的注意力模块的设计,例如轻量级或面向任务的注意力。但是,他们忽略了在哪里插入注意力模块的重要性,因为它们将模块与整个CNN骨干网的每个模块分别连接,这是理所当然的,随着网络深度的增加,导致计算成本和参数数量的增加。因此,我们提出了一个称为高效注意力网络(EAN)的框架,以提高现有.

2020-12-04 10:07:27 853

原创 SplitNet-CNN网络拆分 | SplitNet:Divide and Co-training

论文地址:https://arxiv.org/pdf/2011.14660.pdfAbstract:神经网络的宽度很重要,因为增加宽度必然会增加模型的容量。但是,网络的性能不会随着宽度的增加而线性提高,并且很快就会饱和。为了解决这个问题,我们建议增加网络的数量,而不是单纯地扩大宽度。为了证明这一点,将一个大型网络划分为几个小型网络,每个小型网络都具有原始参数的一小部分。然后,我们将这些小型网络一起训练,并使它们看到相同数据的各种视图,以学习不同的补充知识。在此共同训练过程中,网络也可以互相学习。结.

2020-12-04 09:53:10 1264

原创 C++/QT获取文件夹下指定格式的文件

1.最低子文件夹代码://设置过滤参数,QDir::NoDotAndDotDot表示不会去遍历上层目录QDirIterator dir_iterator(dir_, QDir::Dirs | QDir::NoDotAndDotDot, QDirIterator::Subdirectories);//当前目录没有子文件夹if(!dir_iterator.hasNext()){ get_files.append(dir_);}else{ while(dir_iterator.hasNext(

2020-12-03 09:43:44 1462

原创 C++头文件相互引用解决方案

简化问题为:我们现在有A,B两个类的头文件,具体有A.h,A.cpp,B.h,B.cpp个文件夹。假如在A类中我们需要使用B类,在B类中需要使用A类,常规操作就是相互引用各自的头文件。但是这样会造成循环依赖的情况,就会报错。1.前向声明解决互相引用造成循环依赖//A.h#pragma once#include "B.h"class A{public: A(); ~A();private: B* b;};//B.h#pragma once//前向声明取代互相引用头文件cla

2020-12-01 10:41:40 6756 2

原创 DY-ReLU-ECCV2020-性价比极高的激活函数 | Dynamic ReLU

很早之前就出来的文章,简单mark一下论文地址:https://arxiv.org/pdf/2003.10027.pdfAbstract:Rectified linear units (ReLU)通常在深度神经网络中使用。 到目前为止,ReLU及其衍生版本(非参数或参数)都是静态的,对所有输入样本无差别。 在本文中,我们提出了动态ReLU(DY-ReLU),这是一种动态修正器,其参数由超函数在所有输入元素上生成。 关键见解是DY-ReLU将全局上下文编码为超函数,并相应地调整了分段线性激活函数。.

2020-11-16 19:17:17 2143 6

原创 A2F-轻量级SISR网络 | Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature

SISR领域刷PSNR指标貌似已经没有出路,转而轻量级的超分辨率网络更受欢迎论文地址:https://arxiv.org/pdf/2011.06773.pdfGithub地址:https://github.com/wxxxxxxh/A2F-SR.分享一下之前记录的轻量级SISR网络,也方便大家比较:1.PAN-极致参数量270k2.OverNet-250FPS3.Efficient SR挑战赛Abstract:尽管基于卷积网络的方法提高了单图像超分辨率(SISR)的性能,但巨大的计算成.

2020-11-16 16:41:58 1408

原创 python函数式编程+多进程

总结:函数式编程避免了for循环式结构,有利于debug时只关注核心代码。此外,在任务复杂和数据量比较大的时候,函数式编程+多进程效率更高。1.for循环式编程假设现在有一组数据data,我们想对数据中的每一个成员求平方,常用的实现方式包括for循环和 [ ] 两种,具体如下:#1.for循环方式res1 = [] for n in data: res1.append(n ** 2) #2.[]方式res2 = [n ** 2 for n in da.

2020-11-12 13:12:21 1022

原创 SRNet-图推理高效率语义分割网络 | Towards Efficient Scene Understanding via Squeeze Reasoning

Abstract:基于图的卷积模型(例如non-local块)已显示出可有效增强卷积神经网络(CNN)中的上下文建模能力。但是,其按像素计算的开销非常高,这使其不适用于高分辨率图像。在本文中,我们探索了上下文图推理的效率,并提出了一种称为Squeeze Reasoning的新颖框架。首先,我们不是在空间图上传播信息,而是先学习将输入特征压缩为逐个通道的全局向量,并在单个向量内执行推理,从而可以显着降低计算成本。具体来说,我们在向量中构建节点图,其中每个节点代表一个抽象的语义概念。同一语义类别内的优化特征.

2020-11-11 20:18:26 877 2

原创 入门python多进程(二)

关于python多进程的创建方式请先看入门python多进程(一)3.进程锁:由于进程之间的数据不共享,有时候多个进程需要同时访问同一个文件,这就会引发数据安全或顺序混乱问题。这种情况下,可以使用进程锁,加锁的目的是为了保证多个进程修改同一块数据时,同一时间只能有一个修改,即串行的修改。这种方式会减慢速度,但是牺牲了速度而保证了数据安全。举一个最常见的买票问题。ticket.json里写的{“count”: 4},表示现在只有4张票,我会启动5个进程去买票,这就意味着第5个进程会买票失败impor

2020-11-08 12:27:32 412 3

原创 入门python多进程(一)

mark一下学习笔记:1.多任务:学习python多线程与多进程之前,需要先知道多任务这个概念。多任务即是同一时间让系统执行多个任务,其中包括并发和并行两种方式。A.并发如上图所示,假设应用场景下只有单核的CPU,需要同时处理3个任务。这就是并发,单核CPU在开启任务1之后会立马开启任务2和任务3,这种在一段时间内交替执行任务的方式就成为并发。此外,单核CPU下只会存在并发,不存在并行的情况。B.并行并行就是在同一时刻一起执行多个任务。上图就是多核CPU,每个CPU核执行1个任务的例子。.

2020-11-03 19:17:12 3809 8

原创 MimicNorm-替代BN层显存降低20% | Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization

看到了显存降低了20%,但是没看到推理速度方面的比较…论文地址:https://arxiv.org/pdf/2010.09278.pdfGithub地址:https://github.com/Kid-key/MimicNormAbstract:大量的实验已经验证了批归一化(BN)层在受益于收敛和泛化方面的成功。但是,BN需要额外的内存和浮点计算。此外,BN在微批量上是不准确的,因为它取决于批量统计信息。在本文中,我们通过简化BN正则化来解决这些问题,同时保留了BN层的两个基本影响,即数据去相关.

2020-11-03 18:20:10 649

原创 NeurIPS 2020-TinyNets-轻量级模型 | Model Rubik‘s Cube: Twisting Resolution, Depth and Width for TinyNets

论文地址:https://arxiv.org/pdf/2010.14819.pdfGithub地址:https://github.com/huawei-noah/CV-Backbones/tree/main/tinynet,Abstract:为了获得出色的深度神经网络体系结构,在EfficientNets中精心设计了一系列技术。同时扩大分辨率,深度和宽度的巨大公式为我们提供了神经网络的魔方。这样我们就可以通过扭曲这三个维度来找到高效,高性能的网络。本文旨在探索以最小的模型大小和计算成本获得深层神.

2020-11-02 14:40:00 2352 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除