自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

白水空空

努力努力再努力

  • 博客(101)
  • 资源 (13)
  • 收藏
  • 关注

原创 【读点论文呢】GhostNetV2: Enhance Cheap Operation with Long-Range Attention将自注意力机制融入到ghost模块中

轻量级卷积神经网络(CNN)是专门为推理速度更快的移动设备上的应用而设计的。卷积运算只能捕获窗口区域中的局部信息,这阻碍了性能的进一步提高。在卷积中引入自我关注可以很好地捕获全局信息,但这将在很大程度上阻碍实际速度。在本文中,我们提出了一种硬件友好的注意力机制(称为DFC注意力),然后提出了一个新的用于移动应用的GhostNetV2架构。所提出的DFC注意力是基于完全连接的层构建的,它不仅可以在普通硬件上快速执行,而且可以捕获长距离像素之间的依赖性。

2023-02-04 10:28:45 39

原创 【读点论文】ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks改进senet

最近,通道注意机制被证明在提高深度卷积神经网络(CNN)的性能方面具有很大的潜力。然而,大多数现有的方法致力于开发更复杂的注意力模块以实现更好的性能,这不可避免地增加了模型的复杂性。为了克服性能和复杂性之间的矛盾,本文提出了一个高效通道注意(ECA)模块,它只涉及少数几个参数,同时带来明显的性能增益。通过剖析SENet中的通道注意模块,本文实证表明避免降维对学习通道注意很重要,而适当的跨通道交互可以保持性能,同时显著降低模型复杂性。因此,

2023-02-03 11:04:37 24

原创 【读点论文】Coordinate Attention for Efficient Mobile Network Design.2021CVPR卷积注意力机制新发现(含openmmlab的深度学习概览)

最近关于移动网络设计的研究已经证明了信道注意力(例如,挤压和激励注意力)对于提升模型性能的显著有效性,但它们通常忽略了位置信息,这对于生成空间选择性注意力图很重要。在本文中,我们通过将位置信息嵌入到信道注意力中,提出了一种新的移动网络注意力机制,我们称之为“协调注意力”。与通过2D全局池将特征张量转换为单个特征向量的通道注意力不同,坐标注意力将通道注意力分解为两个1D特征编码过程,分别沿两个空间方向聚合特征。以这种方式,可以沿着一个空间方向捕获长距离依赖性,同时可以沿着另一个空间方位保存精确的位置信息。

2023-02-02 10:43:14 24

原创 【读点论文】MicroNet: Towards Image Recognition with Extremely Low FLOPs,在极高限制下的轻量化网络

如果把一个卷积层的计算量设为固定值,那么。

2022-12-08 21:51:20 418

原创 【读点论文】Conformer: Local Features Coupling Global Representations for Visual Recognition卷积提取局部,SA获取全局

在卷积神经网络(CNN)中,卷积运算善于提取局部特征,但难以捕获全局表示。在视觉transformer中,级联的自我关注模块可以捕获远距离的特征相关性,但不幸的是,会恶化局部特征细节。在本文中,提出了一种称为Conformer的混合网络结构,以利用卷积运算和自关注机制来增强表示学习。Conformer源于特征耦合单元(FCU),它以交互方式融合不同分辨率下的局部特征和全局表示。Conformer采用并发结构,最大限度地保留了局部特征和全局表示。

2022-11-29 16:02:34 681

原创 【读点论文】Densely Connected Convolutional Networks用残差连接大力出奇迹,进一步叠加特征图,以牺牲显存为代价

三个密集块中的特征图大小分别为32× 32、16×16和8×8。本文用基本的DenseNet结构进行实验,配置为{L = 40,k = 12}、{L = 100,k = 12}和{L = 100,k = 24}。对于DenseNetBC,评估了具有配置{L = 100,k = 12}、{L= 250,k = 24}和{L= 190,k = 40}的网络。在ImageNet上的实验中,本文在224×224的输入图像上使用具有4个密集块的DenseNet-BC结构。

2022-11-26 17:14:50 518

原创 【读点论文】Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial

由于复杂的注意力机制和模型设计,大多数现有的视觉transformer(ViT)在现实的工业部署场景(如TensorRT和CoreML)中不能像卷积神经网络(CNN)那样高效地执行。这提出了一个明显的挑战:视觉神经网络能否设计得像CNN一样快速推断,并像ViT一样强大?在这些工作中,提出了一种用于在现实工业场景中高效部署的下一代视觉transformer,即next ViT,从延迟/准确性权衡的角度来看,它主导了CNN和ViT。下一个卷积块(NCB)和下一个transformer块(NTB)分别被开发用于利

2022-11-22 10:55:40 262 1

原创 【读点论文】CMT: Convolutional Neural Networks Meet Vision Transformers

视觉transformer已经成功地应用于图像识别任务,因为它们能够捕获图像中的长距离依赖性。然而,transformer和现有卷积神经网络(CNN)在性能和计算成本方面仍存在差距。在本文中,本文的目标是解决这个问题,并开发出一种不仅可以超越规范transformer,而且可以超越高性能卷积模型的网络。本文提出了一种新的基于transformer的混合网络,它利用变压器捕获长距离依赖关系,并利用神经网络提取局部信息。

2022-11-21 20:30:41 700

原创 【读点论文】Focal Self-attention for Local-Global Interactions in Vision Transformers局部和全局注意力进行交互实现新SOTA

本文提出了一种焦点自注意力机制 Focal-Self-Attention(FSA),然后基于焦点自注意力机制,提出了一种 Focal Transformer。最近,Vision Transformer及其变体在各种计算机视觉任务上表现出了巨大的潜力。。但由于二次方计算复杂度开销,特别是对于高分辨率视觉任务(例如,物体检测),它也带来了挑战。最近的许多工作都试图。然而,这两种方法都削弱了多层变压器原始自我关注机制的建模能力,从而导致次优解决方案。

2022-11-19 14:45:00 277

原创 【读点论文】YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors新集合体

YOLOv7在5 FPS到160 FPS的范围内,在速度和精度上都超过了所有已知的物体检测器,在GPU V100上以30 FPS或更高的速度在所有已知的实时物体检测器中具有最高的精度56.8% AP。

2022-11-18 21:16:15 600

原创 【读点论文】YOLOv4: Optimal Speed and Accuracy of Object Detection,讲明目标检测结构,分析先进的涨点tricks,实现一种精度与速度的平衡

三张特征图就是整个Yolo输出的检测结果,检测框位置(4维)、检测置信度(1维)、类别(80维)都在其中,加起来正好是85维。特征图最后的维度85,代表的就是这些信息,而特征图其他维度N × N × 3,N × N代表了检测框的参考位置信息,3是3个不同尺度的先验框。

2022-11-17 22:08:40 429

原创 【读点论文】EfficientViT: Enhanced Linear Attention for High-Resolution Low-Computation将softmax注意力转变为线性注意力

视觉transformer(ViT)在许多视觉任务中取得了显著的性能。然而,在针对高分辨率移动视觉应用时,ViT次于卷积神经网络(CNNs)。降低ViT在边缘设备上的部署成本至关重要。现有的方法(如Swin、PVT)将软最大注意限制在局部窗口内或降低键/值张量的分辨率以降低成本,牺牲了ViT在全局特征提取方面的核心优势。在这项工作中,本文提出了高效率的ViT架构,用于高分辨率低计算的视觉识别。。高效率vit在保持全局和局部特征提取能力的同时,享受线性计算复杂度。

2022-09-26 10:24:58 509

原创 【读点论文】EfficientDet: Scalable and Efficient Object Detection,改进特征融合层,BiFPN双向融合特征便于框信息回归,类别分类

在计算机视觉中,模型效率越来越重要。在本文中,本文系统地研究了目标检测的神经网络结构设计选择,并提出了几个关键的优化方法来提高效率。首先,本文提出了;其次,本文提出了。基于这些优化和更好的骨干,本文还开发了一个新的物体探测器家族,称为effentdet,在广泛的资源约束范围内始终实现比现有技术更好的效率。

2022-09-24 13:40:39 669

原创 【读点论文】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows通过窗口化进行局部MSA,sw-MSA融合信息

本文提出了一种新的视觉transformer,称为Swin transformer,。将Transformer从语言转换为视觉的挑战来自于两个领域之间的差异,例如视觉实体的规模有很大的差异,以及图像中的像素与文本中的单词相比具有较高的分辨率。为了解决这些差异,本文提出了一个。移窗方案通过将自我注意计算限制在不重叠的局部窗口上,同时允许跨窗口连接,从而提高了效率。。

2022-09-21 20:47:50 568

原创 【读点论文】A ConvNet for the 2020s,结合swin transformer的结构设计和训练技巧调整resnet网络,在类似的FLOPs和参数量取得更好一点的效果

视觉识别的“咆哮的20年代”始于视觉transformer(ViTs)的问世,。另一方面,普通的ViT在应用于一般的计算机视觉任务时面临困难,如目标检测和语义分割。正是层次化的transformer(例如Swin transformer)重新引入了几个ConvNet先验,使transformer作为通用的视觉主干实际上可行,并在各种各样的视觉任务中显示出卓越的性能。然而,这种混合方法的有效性仍然很大程度上归功于transformer的内在优势,而不是卷积固有的归纳偏差。

2022-09-18 15:43:07 519

原创 【读点论文】ESPNetv2: A Light-weight, Power Efficient, GeneralPurposeConvolutionalNeuralNetwork改V1,降低卷积运算

本文介绍了一种轻量级、节能和通用的卷积神经网络ESPNetv2,用于建模可视化和顺序数据。本文的网络使用逐点向和深度向扩展的可分离卷积,以较少的FLOPs和参数从一个较大的有效接收域学习表示。我们的网络的性能在四个不同的任务上进行了评估:(1)对象分类,(2)语义分割,(3)对象检测,(4)语言建模。在这些任务上的实验,包括在ImageNet上的图像分类和在PenTree bank数据集上的语言建模,证明了本文的方法比目前最先进的方法更优越的性能。

2022-09-15 16:44:13 138

原创 【读点论文】ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation,逐点卷积加上空洞卷积

本文引入了一种快速高效的卷积神经网络ESPNet,。ESPNet基于一种新的卷积模块——高效空间金字塔(efficient spatial pyramid, ESP),它在计算、内存和功耗方面都非常高效。ESPNet比表现良好的语义分割网络PSPNet快22倍(在标准GPU上),小180倍,而分类准确率仅低8%。本文在各种语义分割数据集上评估EPSNet,包括cityscape、PASCAL VOC和一个乳腺活检整个幻灯片图像数据集。

2022-09-14 08:36:01 156

原创 【读点论文】 MoCoViT: Mobile Convolutional Vision Transformer,将ghost模块与transformer的编码器结合在一起

为了验证MoCoViT的有效性,本文在各种视觉任务上进行了一系列的实验,如ImageNet-1K分类,以及COCO上的目标检测和实例分割。大量实验结果表明,MoCoViT的性能优于其他最先进的轻量级CNN网络和轻量级transformer,如MobileNetV3, GhostNet和Mobile-Former。如下图所示,MoCoViT在FLOPs范围为40M ~ 300M时获得最好的结果。MoCoViT与高效CNNs在准确率方面的比较。比较是在ImageNet分类上进行的。

2022-09-07 19:50:03 730

原创 【读点论文】Separable Self-attention for Mobile Vision Transformers,通过引入隐变量将Q矩阵和K矩阵的算数复杂度降低成线性复杂度,分步计算注意力。

该方法的一个简单而有效的特点是,它使用元素操作来计算自我注意,使其成为资源受限设备的良好选择。

2022-09-06 22:23:45 543

原创 MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE, AND MOBILE-FRIENDLY VISION TRANSFORMER通过transformer简化cnn计算

轻量级卷积神经网络(CNNs)是移动视觉任务的事实。他们的空间诱导偏差允许他们在不同的视觉任务中学习参数较少的表征。然而,这些网络在空间上是局部的。为了学习全局表示,采用了基于自我注意的视觉transformer(ViTs)。与cnn不同,vit是重量级的。?为此,本文推出了MobileViT,一种轻量级的通用移动设备视觉transformer。MobileViT用变形金刚为全球信息处理提供了一个不同的视角。本文的结果表明,MobileViT在不同的任务和数据集上显著优于基于cnn和vitc的网络。

2022-09-05 22:13:25 678

原创 【留点代码】将transformer运用到目标检测上来,通过debug了解模型的模型运算流程

debug调试detr_demo,留点代码给自己

2022-07-25 20:09:25 431

原创 【读点论文】Mobile-Former: Bridging MobileNet and Transformer,transformer全局把控,mobilenet细节处理,很低的FLOPs展现效果较佳

最近,(vision transformer, ViT)[An image is worth 16x16 words: Transformers for image recognition at scale,Training data-efficient image transformers and distillation through attention]展示了全局处理的优势,并取得了比cnn显著的性能提升。但是,当计算预算限制在1G FLOPs以内时,ViT的增益会降低。如果进一步挑战计算成本,Mo

2022-07-11 08:59:34 334 2

原创 【读点论文】FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining 网络结构和超参数全当训练参数给训练了

设计高效的计算机视觉模型是一个具有挑战性但重要的问题:从自动驾驶汽车到增强现实的无数应用都需要高度精确的compact models——即使在功率、计算、内存和延迟方面受到限制。可能的约束和架构组合的数量非常大,使得手工设计几乎不可能。尽管NAS在网路架构方面取得了非常好的结果,比如EfficientNet、MixNet、MobileNetV3等等。但无论基于梯度的NAS,还是基于super net的NAS,亦或基于强化学习的NAS均存在这几个缺陷,作者提出了JointNAS,同时对网络架构与训练策略进行搜

2022-06-24 10:41:28 117

原创 【读点论文】FBNetV2:Differentiable Neural Architecture Search for Spatial and Channel D扩大搜索空间,复用featuremap

DNAS通过训练包含所有候选网络的超网来采样最优的子网,虽然搜索速度快,但需要耗费大量的内存,所以搜索空间一般比其它方法要小,且内存消耗和计算量消耗随搜索维度线性增加。 为了解决这个问题,论文提出DMaskingNAS,将channel数和输入分辨率分别以mask和采样的方式加入到超网中,在带来少量内存和计算量的情况下,大幅增加101410^{14}1014倍搜索空间。基于 DARTS 的这种可微分的网络结构搜索方法 (Differentiable Neural Architecture Search)

2022-06-18 10:10:30 107

原创 【读点论文】FBNet:Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search可微分

基于人工神经网络设计和强化学习的神经结构搜索。用于ConvNet设计的可微分神经结构搜索(DNAS)。DNAS探索了一个分层空间,一个ConvNet的每一层都可以选择不同的块。搜索空间由随机超网表示。搜索过程使用SGD训练随机超级网,以优化体系结构分布。最佳架构是从经过训练的分布中抽取的。在目标设备上测量每个运营商的延迟,并用于计算超级网络的损失。在本文中,使用可微分神经结构搜索(DNAS)来解决ConvNet的设计问题。本文将神经结构搜索问题公式化为min⁡α∈Amin⁡wαL(α,wα),(1)\mi

2022-06-13 17:07:55 234

原创 【读点论文】GhostNet: More Features from Cheap Operations 卷积操作还是比较昂贵,特征图冗余可以线性变换获得

深度卷积神经网络在各种计算机视觉任务中表现出优异的性能,例如图像识别,对象检测和语义分割。传统的CNN通常需要大量的参数和浮点运算(FLOPs)来达到令人满意的精度,例如ResNet-50 大约有25.6M的参数,需要4.1B的FLOPs来处理大小为224 × 224的图像。因此**,深度神经网络设计的最新趋势是探索便携式和高效的网络架构**,并为移动设备(如智能手机和自动驾驶汽车)提供可接受的性能。多年来,人们提出了一系列方法来研究紧凑的深度神经网络,如网络修剪[Deep compression,Thin

2022-06-07 15:58:46 204

原创 【读点论文】EfficientNetV2: Smaller Models and Faster Training 训练感知的神经架构搜索+自适应的渐近训练方法优化训练(TPU,大数据量)

EfficientNetV2: Smaller Models and Faster TrainingAbstract本文介绍了EfficientNetV2,这是一个新的卷积网络系列,与以前的模型相比,具有更快的训练速度和更好的参数效率。为了开发这些模型,本文采用了训练感知的神经结构搜索和缩放的组合,共同优化训练速度和参数效率。这些模型是从富含Fused-MBConv等新操作的搜索空间中搜索出来的。本文的实验表明,EfficientNetV2模型的训练速度比最先进的模型快得多,而体积却小到6.8倍。本

2022-05-29 21:36:44 258 1

原创 【读点论文】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks网络结构要像身材一样匀称且体量和处理能力匹配

EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksAbstract卷积神经网络(ConvNets)通常是在固定的资源预算下开发的,然后在有更多资源的情况下扩大规模以获得更好的准确性。在本文中,系统地研究了模型的缩放,发现仔细平衡网络深度、宽度和分辨率可以带来更好的性能。基于这一观察,本文提出了一种新的缩放方法,使用一个简单而高效的复合系数统一缩放深度/宽度/分辨率的所有维度。本文在扩大MobileNets和

2022-05-29 10:55:33 128

原创 【读点论文】Benchmark Analysis of Representative Deep Neural Network Architectures当准确率不再是唯一衡量标准,给多目标优化一个导向

Benchmark Analysis of Representative Deep Neural Network ArchitecturesABSTRACT这项工作对目前(2018)提出的用于图像识别的大多数深度神经网络(DNNs)进行了深入分析。(可直接看结论)对每个DNN的多个性能指标进行了观察,如识别精度、模型复杂度、计算复杂度、内存使用和推理时间。本文分析和讨论了这些性能指标的行为以及它们的一些组合。为了测量这些指数,本文在两种不同的计算机架构上实验了DNN的使用,一种是配备了NVIDIA

2022-05-26 09:58:41 118

原创 【读点论文】MobileDets: Searching for Object Detection Architectures for Mobile Accelerators,适配不同硬件平台的搜索方案

MobileDets: Searching for Object Detection Architectures for Mobile AcceleratorsAbstract建立在深度方向卷积上的反向瓶颈层已经成为移动设备上的最新对象检测模型中的主要构件。在这项工作中,本文通过重新考察常规卷积的有效性,研究了这种设计模式在各种移动加速器上的最优性。本文发现,常规卷积是一个有效的组件,可以提高加速器上对象检测的延迟-准确性权衡,前提是它们通过神经架构搜索被有策略得地放置在网络中。通过在搜索空间中引

2022-05-24 16:30:05 245

原创 【读点论文】ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design,用部署的方式说明问题

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture DesignAbstract目前,神经网络架构的设计主要是以计算复杂性的间接指标,即FLOPs为指导。然而,直接指标,如速度,也取决于其他因素,如内存访问成本和平台特性。因此,这项工作提出在目标平台上评估直接指标,而不是只考虑FLOPs。基于一系列的控制性实验,这项工作得出了高效网络设计的几个实用指南。据此,提出了一个新的架构,称为ShuffleNet V2。综

2022-05-21 14:44:13 273

原创 【读点论文】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices,规则分组,有序混洗

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile DevicesAbstract本文介绍了一种称为ShuffleNet的计算效率极高的CNN架构,它是专门为计算能力非常有限(例如10-150 MFLOPs)的移动设备设计的。新架构利用两种新操作,逐点组卷积和信道混洗,在保持精度的同时大大降低了计算成本。在ImageNet分类和MS COCO对象检测上的实验证明了ShuffleNet优于其他结构的性能,

2022-05-20 19:24:29 484

原创 【读点论文】SqueezeNext: Hardware-Aware Neural Network Design 从硬件部署上探讨轻量化,了解部署硬件的RoofLine

SqueezeNext: Hardware-Aware Neural Network DesignAbstract在嵌入式系统上部署神经网络的主要障碍之一是现有神经网络的大存储器和功耗。在这项工作中,本文介绍了SqueezeNext,这是一个新的神经网络体系结构家族,其设计是通过考虑以前的体系结构(如SqueezeNet)以及神经网络加速器上的模拟结果来指导的。这种新网络能够以112倍的较少参数在ImageNet基准上匹配AlexNet的精度,其更深层次的变体之一能够仅用440万个参数实现VGG-1

2022-05-10 22:04:12 208

原创 【读点论文】SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZEABSTRACT最近对深度卷积神经网络(CNN)的研究主要集中在提高准确性上。对于给定的精度水平,通常可以识别出多个达到该精度水平的CNN架构。在同等精度的情况下,较小的CNN架构至少提供了三个优点:(1)较小的CNN在分布式训练期间需要较少的跨服务器通信。(2)较小的CNN需要较少的带宽来从云中向自动驾驶汽车导出新模型。

2022-05-09 19:47:46 379

原创 【读点论文】MnasNet: Platform-Aware Neural Architecture Search for Mobile,用神经网络搜索的方式来设计网络平衡精度与速度

MnasNet: Platform-Aware Neural Architecture Search for MobileAbstract为移动设备设计卷积神经网络(CNN)模型具有挑战性,因为移动模型需要小而快,但仍然准确。尽管在所有三个维度上设计和改进移动模型已经付出了巨大的努力,但当有如此多的架构可能性需要考虑时,手动平衡这些权衡是具有挑战性的。在本文中,提出了一种自动神经结构搜索方法,用于设计资源受限的移动CNN模型。本文建议显式地将延迟信息合并到主目标中,以便搜索可以确定一个在准确性和延迟

2022-05-06 10:59:20 150

原创 记录点硬件知识CPU,GPU,TPU

CPUCPU 是一种基于冯·诺依曼结构的通用处理器。这意味着 CPU 与软件和内存协同工作,如下所示:CPU 最大的优点是它们的灵活性。可以在 CPU 上为许多不同类型的应用加载任何类型的软件。对于每次计算,CPU 从内存加载值,对值执行计算,然后将结果存储回内存中。与计算速度相比,内存访问速度较慢,并可能会限制 CPU 的总吞吐量。这通常称为[冯·诺依曼瓶颈]。CPU的应用场景需要最高灵活性的快速原型设计训练时间不长的简单模型有效批量大小较小的小型模型包含许多以

2022-05-03 18:54:33 1136 1

原创 打开树莓派我关心的一点问题

我的树莓派是32位的还是64位的?getconf LONG_BIT我安装的树莓派系统是什么类型的?cat /proc/version我的树莓派在当前局域网中的IP地址hostname -I查看本机安装的python版本及路径whereis python怎样才能下载快一点###树莓派 4B arm64 配置国内清华源#https://mirrors.tuna.tsinghua.edu.cn/help/raspbian/###打开 /etc/ap

2022-05-02 15:48:48 770

原创 【读点论文】Searching for MobileNetV3 集合了多项热门技术通道注意力,神经网络搜索,V1,V2。建议深度学习MnasNet和NetAdapt两篇论文

Searching for MobileNetV3MobileNet v3发表于2019年,该v3版本结合了v1的深度可分离卷积、v2的Inverted Residuals和Linear Bottleneck、SE模块,利用NAS(神经结构搜索)来搜索网络的配置和参数。Abstract本文提出了基于互补搜索技术的组合以及新颖的架构设计的下一代移动互联网。MobileNetV3通过硬件网络架构搜索(NAS)的组合,辅以NetAdapt算法,并随后通过新颖的架构进步进行改进,从而适应移动电话CPU。本

2022-05-02 15:26:10 1157

原创 【读点论文】MobileNetV2: Inverted Residuals and Linear Bottlenecks 针对V1的专项改进。改变残差方式,改善映射条件。

MobileNetV2: Inverted Residuals and Linear BottlenecksAbstract在本文中,描述了一种新的移动架构MobileNetV2,它提高了移动模型在多任务和基准测试以及不同模型规模范围内的最新性能。还描述了在大家称为SSDLite的新框架中将这些移动模型应用于对象检测的有效方法。此外,本文演示了如何通过一个简化形式的DeepLabv3(本文称之为Mobile DeepLabv3)来构建移动语义分割模型。基于倒置的残差结构,其中shortcut co

2022-04-28 11:38:01 232

原创 【读点论文】MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications改变卷积方式来简化计算

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsAbstract本文提出了一类用于移动和嵌入式视觉应用的称为MobileNets的高效模型。MobileNets基于一种流线型架构,使用深度方向可分离的卷积来构建轻量级深度神经网络。本文引入两个简单的全局超参数,有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者基于问题的约束为他们的应用选择正确大小的模型。本文提出了大量的资源和

2022-04-26 15:06:50 340

2021-2022年的高精度模型,swin transformer.convnext等

目前Transformer应用到图像领域主要有两大挑战: 视觉实体变化大,在不同场景下视觉Transformer性能未必很好 图像分辨率高,像素点多,Transformer基于全局自注意力的计算导致计算量较大 针对上述两个问题,我们提出了一种包含滑窗操作,具有层级设计的Swin Transformer。 其中滑窗操作包括不重叠的local window,和重叠的cross-window。将注意力计算限制在一个窗口中,一方面能引入CNN卷积操作的局部性,另一方面能节省计算量。 ConvNeXt并没有特别复杂或者创新的结构,它的每一个网络细节都是已经在不止一个网络中被采用。而就是靠这些边角料的互相配合,却也达到了ImageNet Top-1的准确率。它涉及这些边角料的动机也非常简单:Transformer或者Swin-Transformer [3]怎么做,我也对应的调整,效果好就保留。当然这些边角料的摸索也是需要大量的实验数据支撑的,是一个耗时耗力耗资源的过程。通过对ConvNeXt的学习,我等调参侠不仅可以学习到诸多的炼丹经验,还可以一探其背后原理.

2023-02-04

轻量化混合(卷积和transformer)网络,发论文的热点

CNN的成功依赖于其两个固有的归纳偏置,即平移不变性和局部相关性,而视觉Transformer结构通常缺少这种特性,导致通常需要大量数据才能超越CNN的表现,CNN在小数据集上的表现通常比纯Transformer结构要好。 CNN感受野有限导致很难捕获全局信息,而Transformer可以捕获长距离依赖关系,因此ViT出现之后有许多工作尝试将CNN和Transformer结合,使得网络结构能够继承CNN和Transformer的优点,并且最大程度保留全局和局部特征。 Transformer是一种基于注意力的编码器-解码器结构,最初应用于自然语言处理领域,一些研究最近尝试将Transformer应用到计算机视觉领域。 在Transformer应用到视觉之前,卷积神经网络是主要研究内容。受到自注意力在NLP领域的影响,一些基于CNN的结构尝试通过加入自注意力层捕获长距离依赖关系,也有另外一些工作直接尝试用自注意力模块替代卷积,但是纯注意力模块结构仍然没有最先进的CNN结构表现好。

2023-02-03

mobilenet系列V1-V3

MobileNet网络是由google团队在2017年提出的,专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络,在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%,但模型参数只有VGG的1/32) MobileNet v2网络是由google团队在cvpr2018年提出的,相比MobileNet v1网络,准确率更高,模型更小。 MobileNet v3发表于eccv2019年,该v3版本结合了v1的深度可分离卷积、v2的Inverted Residuals和Linear Bottleneck、新添加了SE模块,利用NAS(神经结构搜索)来搜索网络的配置和参数。

2022-06-05

shufflenetV1

入门理解级,了解shufflenet的核心内容

2022-06-05

图像分类方向的研究写作,中文学报写作格式,从数据集,经典网络角度分析。

从早期生物神经网络研究,到神经网络从实现深度化,模块化,引入注意力机制,再到实现高效化神经网络。这个时间节点比较火热的autoML,神经架构搜索技术等了解图像分类不仅仅只需要精度。

2022-06-05

人脸识别综述及应用,了解一下

多多交流,人脸识别,学习路上小插曲

2022-05-01

百度发文,pp-LCnet网络,pp-PicoDet算法,pp-shitu应用

组会汇报,学习讨论

2022-05-01

yolov2&deepid.pptx

人脸检测出发

2022-01-07

基于深度学习的图像语义分割分类(ISSbDL).xmind

基于深度学习的图像语义分割分类(ISSbDL).xmind

2021-12-21

deeplab系列,一种语义分割的选择.pptx

deeplab系列,一种语义分割的选择.pptx

2021-12-17

生成对抗网络与变种.pptx

生成对抗网络学习了解,分享

2021-12-12

分治法求众数.pptx

逐步讲解分治法求解众数。原为课程分享内容。

2021-12-03

卷积神经网络.pptx

对于卷积神经网络得概述与在计算机视觉的应用,学习分享,ppt制作

2021-09-29

自然语言处理,推荐系统答辩PPT.pptx

基于TF-IDF算法,结合simhash算法,中文分词等一些技术要点概述。应用了开源hanlp中文处理包

2021-09-11

白水空空-爬虫概论.pptx

可用于技术分析讲解,爬虫知识了解,使用效果和使用流程的预览。一些基本配置与使用均有分享和讨论,积极与博主沟通,完善相关文档

2021-09-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除