![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习环境
文章平均质量分 82
麻花地
这个作者很懒,什么都没留下…
展开
-
DeepStream-test1-python-demo样例
基于知乎博客解释完成:https://zhuanlan.zhihu.com/p/359079725test1样例的整体流程: 首先数据源元件(filesrc)负责从磁盘上读取视频数据,解析器元件(h264parse)负责对数据进行解析,编码器元件(nvv4l2decoder)负责对数据进行解码,流多路复用器元件(nvstreammux)负责批处理帧以实现最佳推理性能,推理元件(nvinfer)负责实现加速推理,转换器元件(nvvideoconvert)负责将数据格式转换为输出显示支持的格式,可视化元件(原创 2023-03-16 14:14:41 · 842 阅读 · 0 评论 -
yolov5模型量化示例
yolo部署实例前置知识原创 2023-02-03 11:36:03 · 796 阅读 · 0 评论 -
神经网络图优化与量化模拟
计算图和量化算子的一些规则原创 2023-02-01 22:05:05 · 131 阅读 · 0 评论 -
神经网络量化硬件实现
各种算子的硬件量化原创 2023-01-18 21:43:46 · 430 阅读 · 0 评论 -
神经网络部署
神经网络部署原创 2023-01-16 20:54:59 · 286 阅读 · 2 评论 -
TensorRT部署神经网络
大佬的TensorRT讲解记录一下优化前优化后融图,多余的kernal去除 速度更快代码TensorRT 后训练量化(PPQ)Quant with TensorRT OnnxParserQuant with TensorRT API原创 2023-01-16 20:14:35 · 281 阅读 · 0 评论 -
神经网络加速基础知识
神经网络加速基础知识原创 2023-01-15 21:34:11 · 118 阅读 · 0 评论 -
ConvNeXt V2学习笔记
在改进的架构和更好的表示学习框架的推动下,视觉识别领域在21世纪20年代初实现了快速现代化和性能提升。例如,以ConvNeXt[52]为代表的现代ConvNets在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用ImageNet标签的监督学习而设计的,但它们也可能受益于自监督学习技术,如蒙面自编码器(MAE)[31]。然而,我们发现,简单地结合这两种方法会导致性能不佳。在本文中,我们提出了一个全卷积掩码自编码器框架和一个新的全局响应归一化(GRN)层。原创 2023-01-05 20:50:16 · 6399 阅读 · 3 评论 -
GhostNetV2学习笔记
轻量级卷积神经网络(CNNs)是专为在移动设备上具有较快推理速度的应用而设计的。卷积运算只能捕获窗口区域的局部信息,这阻碍了性能的进一步提高。在卷积中引入自我注意可以很好地捕获全局信息,但会极大地影响卷积的实际速度。在本文中,我们提出了一种硬件友好的注意机制(称为DFC注意),然后提出了一种新的移动应用的GhostNetV2架构。所提出的DFC注意结构基于全连接层,既能在普通硬件上快速执行,又能捕获远距离像素间的依赖关系。原创 2022-11-21 11:00:55 · 6069 阅读 · 10 评论 -
ssFPN学习笔记
特征金字塔网络(FPN)是目标检测模型中考虑目标不同尺度的重要模块。然而,在小物体上的平均精度(AP)相对低于在中型和大型物体上的AP。原因是CNN更深的一层作为特征提取层会造成信息丢失。提出了一种新的FPN尺度序列(S2S^2S2)特征提取方法,以增强小目标的特征信息。我们将FPN结构视为尺度空间,在FPN的水平轴上通过三维卷积提取尺度序列(S2S^2S2)特征。它基本上是一个比例不变的特征,建立在小物体的高分辨率金字塔特征图上。此外,所提出的S2S^2S2。原创 2022-11-06 20:46:39 · 1531 阅读 · 3 评论 -
Hydra Attention学习笔记
虽然transformers已经开始在视觉领域的许多任务中占据主导地位,但将它们应用于大型图像在计算上仍然很困难。一个很大的原因是,自我注意力随标记的数量成二次增长,而标记的数量又随图像的大小成二次增长。对于较大的图像(例如,1080p),网络中超过60%的计算都花在创建和应用注意矩阵上。我们通过引入Hydra Attention向解决这个问题迈出了一步,它是视觉transformers(ViTs)的一种非常高效的注意操作。原创 2022-10-24 11:07:24 · 1225 阅读 · 0 评论 -
目标检测SSD学习笔记
我们提出了一种使用单一深度神经网络来检测图像中的对象的方法。我们的方法,命名为SSD,将边界框的输出空间离散化为一组默认框,每个特征地图位置具有不同的纵横比和比例。在预测时,网络为每个默认框中每个对象类别的存在生成分数,并对框进行调整以更好地匹配对象形状。此外,该网络结合了来自不同分辨率的多个特征地图的预测,以自然地处理各种尺寸的物体。相对于需要对象提议的方法,SSD是简单的,因为它完全消除了提议生成和随后的像素或特征重采样阶段,并且将所有计算封装在单个网络中。原创 2022-10-15 19:27:05 · 890 阅读 · 0 评论 -
YOLO系列算法学习
更换骨干网络Darknet结构(分类和检测结构)旷世研究院新作对于两种网络怎么选择?对于小分辨率,640x640大小,二者都可以进行尝试,如果是大分辨率图像最好使用V5,因为yolox在官方仓库中为提供大分辨率的检测。原创 2022-10-15 09:58:38 · 1581 阅读 · 1 评论 -
AdaptFormer学习笔记
尽管预训练的视觉转换器(ViT)在计算机视觉方面取得了巨大的成功,但使ViT适应各种图像和视频任务是具有挑战性的,因为它具有繁重的计算和存储负担,其中每个模型需要独立和全面地微调以适应不同的任务,这限制了它在不同领域的可移植性。为了应对这一挑战,我们提出了一种有效的自适应方法,即AdaptFormer,它可以有效地将预训练的ViTs适应到许多不同的图像和视频任务中。它拥有比现有技术更吸引人的几个优点。...原创 2022-08-06 11:41:46 · 1143 阅读 · 0 评论 -
EdgeNeXt轻量化学习笔记
为了追求不断提高的精度,通常需要开发大型和复杂的神经网络。这种模型需要很高的计算资源,因此不能部署在边缘设备上。由于资源高效的通用网络在多个应用领域都很有用,因此构建资源高效的通用网络具有很大的意义。在这项工作中,我们努力有效地结合CNN和Transformer模型的优势,并提出了一种新的高效混合架构EdgeNeXt。特别是在EdgeNeXt中,我们引入了分割深度转置注意(SDTA)编码器,该编码器将输入张量分割为多个信道组,并利用深度卷积和跨信道维度的自我注意来隐式增加接收场并编码多尺度特征。......原创 2022-08-05 11:27:42 · 2182 阅读 · 0 评论 -
MetaFormer/PoolFormer学习笔记及代码
变形金刚在计算机视觉任务中显示出巨大的潜力。人们普遍认为,他们基于注意力的模块对他们的能力贡献最大。然而,最近的研究表明,Transformers中基于注意力的模块可以被空间MLP所取代,得到的模型仍然表现良好。基于这一观察**,我们假设变压器的一般架构,而不是特定的令牌混频器模块,对模型的性能更为重要**。为了验证这一点,我们故意用令人尴尬的简单空间池算子替换Transformers中的注意力模块,以仅进行基本令牌混合。.........原创 2022-08-03 10:30:02 · 1690 阅读 · 0 评论 -
EfficientFormer学习笔记
视觉变换器(ViT)在计算机视觉任务方面取得了快速进展,在各种基准上取得了有希望的结果。然而,由于大量的参数和模型设计,例如注意机制,基于ViT的模型通常比轻量级卷积网络慢数倍。因此,为实时应用部署ViT尤其具有挑战性,尤其是在资源受限的硬件上,如移动设备上。最近的研究试图通过网络架构搜索或与MobileNet块的混合设计来降低ViT的计算复杂度,但推理速度仍然不令人满意。这就引出了一个重要的问题**变压器能否像MobileNet一样快速运行,同时获得高性能?代码和型号将在https。......原创 2022-08-02 15:57:13 · 1966 阅读 · 0 评论 -
Next-ViT学习笔记
由于复杂的注意力机制和模型设计,大多数现有的视觉变换器(VIT)在现实的工业部署场景(例如TensorRT和CoreML)中的性能不如卷积神经网络(CNN)。视觉神经网络的设计能否像CNN一样快速推断,并像VIT一样强大?最近的工作试图设计CNN-Transformer混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。为此,我们提出了一种新一代视觉Transformer,用于在现实工业场景中高效部署,即Next-ViT,从延迟/准确性权衡的角度来看,它在CNN和ViT中占主导地位。。...原创 2022-08-01 11:38:46 · 3028 阅读 · 1 评论 -
RepOptimizer学习笔记
神经网络中设计良好的结构反映了纳入模型的先验知识。然而,虽然不同的模型具有不同的先验,但我们习惯于使用模型无关优化器(例如SGD)对其进行训练。在本文中,我们提出了一种新的范式,将特定于模型的先验知识合并到优化器中,并使用它们来训练通用(简单)模型。作为实现,我们提出了一种新的方法,通过根据一组特定于模型的超参数修改梯度来添加先验知识,称为梯度重新参数化,优化器称为重新优化器。...原创 2022-07-29 10:50:30 · 952 阅读 · 0 评论 -
CBAM学习笔记
我们提出了卷积块注意模块(CBAM),这是一种用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图,我们的模块沿两个独立的维度(通道和空间)顺序推断注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化。由于CBAM是一个轻量级的通用模块,它可以无缝集成到任何CNN架构中,开销可以忽略不计,并且可以与基础CNN一起进行端到端的培训。我们通过在ImageNet-1K、MSCOCO检测和VOC2007检测数据集上的大量实验来验证我们的CBAM。...原创 2022-07-27 09:37:08 · 1807 阅读 · 0 评论 -
MobileVIT学习笔记
轻型卷积神经网络(CNN)实际上是用于移动视觉任务的。他们的空间归纳偏差允许他们在不同的视觉任务中以较少的参数学习表征。然而,这些网络在空间上是局部的。为了学习全局表示,采用了基于自注意力的视觉变换器(VIT)。与CNN不同,VIT是重量级的。在本文中,我们提出了以下问题是否有可能结合CNN和ViTs的优势,为移动视觉任务构建一个重量轻、延迟低的网络?为此,我们介绍了MobileViT,一种用于移动设备的轻型通用视觉transformers。...原创 2022-07-26 17:47:29 · 1570 阅读 · 0 评论 -
EPSANet学习笔记
EPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network最近,研究表明,在深度卷积神经网络中嵌入注意力模块可以有效提高其性能。在这项工作中,提出了一种新的轻量级和有效的注意力方法,称为金字塔挤压注意力(PSA)模块。通过在ResNet的瓶颈块中用PSA模块替换3x3卷积,获得了一种新的表示块,称为有效金字塔挤压注意力(EPSA)。EPSA块可以很容易地作为即插即用组件添加到成熟的主干网络中,并且原创 2022-07-11 11:44:44 · 3213 阅读 · 0 评论 -
韩松老师模型压缩--三步剪枝法学习笔记
Learning both Weights and Connections for Efficient Neural Networks神经网络是计算密集型和内存密集型的,因此很难在嵌入式系统上部署。此外,传统网络在训练开始前修复架构;因此,培训无法改善架构。为了解决这些局限性,我们描述了一种方法,通过只学习重要的连接,在不影响其准确性的情况下,将神经网络所需的存储和计算减少一个数量级。我们的方法使用三步方法修剪冗余连接。首先,我们训练网络以了解哪些连接是重要的。接下来,我们删减不重要的连接。最后,我们重新训原创 2022-07-07 10:33:51 · 890 阅读 · 0 评论 -
DeiT学习笔记
Training data-efficient image transformers & distillation through attention最近,纯粹基于注意力的神经网络被证明可以解决图像理解任务,例如图像分类。这些高性能的视觉transformers使用大型基础设施预先训练了数亿张图像,因此限制了其采用。在这项工作中,我们仅通过在Imagenet上进行训练来生产具有竞争力的无卷积变压器。我们用不到3天的时间在一台电脑上训练他们。我们的参考视觉transformers(86M参数)在没有外部数据的原创 2022-07-05 17:28:08 · 1261 阅读 · 0 评论 -
PVTV2--Pyramid Vision TransformerV2学习笔记
PVTv2: Improved Baselines with Pyramid Vision TransformerTransformer最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中,我们通过添加三种设计来改进原始金字塔视觉变换器(PVTv1),提出了新的基线,包括**(1)线性复杂度注意层,(2)重叠面片嵌入和(3)卷积前馈网络**。通过这些修改,PVTv2将PVTv1的计算复杂度降低为线性,并在基本视觉任务(如分类、检测和分割)上实现了显著改进。值得注意的是,拟议的PVTv2实现了与最近的工作(原创 2022-07-04 16:58:55 · 2457 阅读 · 0 评论 -
XCiT学习笔记
在自然语言处理取得巨大成功后,transformers最近在计算机视觉方面显示出了很大的前景。transformers底层的自注意力操作产生了所有令牌(即文字或图像块)之间的全局交互,并允许在卷积的局部交互之外对图像数据进行灵活建模。然而,**这种灵活性在时间和内存方面具有二次复杂性,阻碍了对长序列和高分辨率图像的应用**。我们提出了一种“transposed”版本的自注意力,它跨特征通道而不是令牌进行操作,**其中交互基于键和查询之间的互协方差矩阵**。由此产生的 cross-covariance att原创 2022-07-03 10:29:13 · 3019 阅读 · 0 评论 -
MnasNet学习笔记
为移动设备设计卷积神经网络(CNN)具有挑战性,因为移动模型需要小而快,但仍然准确。尽管在设计和改进移动CNN的各个方面都做出了巨大的努力,但当需要考虑这么多架构可能性时,很难手动平衡这些权衡。**在本文中,我们提出了一种自动移动神经架构搜索(MNAS)方法,该方法将模型延迟明确纳入主要目标,以便搜索能够识别出一个在准确性和延迟之间实现良好权衡的模型**。与之前的工作不同,我们的方法通过另一个通常不准确的代理(例如FLOPS)来考虑延迟,我们的方法通过在手机上执行模型来直接测量真实世界的推理延迟。为了进一步原创 2022-06-27 20:31:42 · 551 阅读 · 0 评论 -
基于OPENCV和图像减法的PCB缺陷检测
在PCB制造业中,生产的一个最重要方面是质量检查。PCB板经历了从面板切割到层压的大量生产过程,一块板上的一个缺陷将使整个板过时。随着电子电器需求的日益增长,对更高质量元器件的需求也在不断增长。由于商用AOI价格高昂,许多制造商无法进行自动检测。在这方面,计算机视觉可以为商业AOI提供一种替代方案,以帮助小型制造商进行自动检测。图像减法和斑点检测使用户能够轻松地发现PCB中......原创 2022-06-26 16:44:52 · 4211 阅读 · 5 评论 -
卷积神经网络中的add和concat
参考博客:深度特征融合---理解add和concat之多层特征融合_xys430381_1的博客-CSDN博客_特征图相加Add是特征图相加,通道数不变简言之,add是将多次提取到的语义信息叠加,会突出正确分类的比例,有利于最后分类,实现了正确分类的高激活add单个通道的计算量:实例Resnet网络的残差结构将经过处理和未经过处理的输入进行add,目的保留原始图像中的正确高激活,避免在处理过程中对正确激活的削弱,所以才有了那句“有时候什么都不做才是最好的”Conca.原创 2022-05-11 10:12:20 · 3352 阅读 · 0 评论 -
Grad-CAM论文笔记
Grad-CAM论文笔记Grad-CAM: Visual Explanations from Deep Networks via Gradient-based LocalizationAbstract我们提出了一种技术,用于从一大类基于卷积神经网络(CNN)的模型中生成决策的“视觉解释”,使它们更加透明和可解释。我们的方法——Gradient-weighted Class Activation Mapping梯度加权类激活映射(Grad-CAM),使用流入最终卷积层的任何目标概念(比如分类网络中的“原创 2022-05-01 12:22:31 · 2322 阅读 · 0 评论 -
医疗Transformer应用综述
医疗Transformer应用综述Transformers in Medical Imaging: A SurveyAbstract在自然语言任务上取得了前所未有的成功后,Transformers 已成功地应用于若干计算机视觉问题,取得了最新的成果,并促使研究人员重新考虑卷积神经网络(CNN)作为事实上的算子的优越性。利用计算机视觉的这些进步,医学成像领域也见证了对Transformers 的兴趣日益增长,与具有局部感受野的CNN相比,Transformers 能够捕捉全局环境。受这一转变的启发,在本原创 2022-04-28 10:54:16 · 4720 阅读 · 0 评论 -
糖尿病眼底病变综述概要记录
糖尿病眼底病变综述概要记录原文地址:Automated Detection and Diagnosis of Diabetic Retinopathy: A Comprehensive SurveyABSTRACT糖尿病视网膜病变(DR)是世界上导致视力下降的主要原因。在过去几年中,基于人工智能(AI)的方法已被用于检测和分级DR。早期检测可以进行适当的治疗,从而防止视力丧失。眼底和光学相干断层扫描(OCT)图像均用于视网膜成像。通过基于深度学习/机器学习的方法,可以从图像中提取特征并检测DR的存在。原创 2022-04-23 10:41:06 · 1811 阅读 · 0 评论 -
Residual Attention U-Net 论文笔记
Residual Attention U-Net 论文笔记原文地址:RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical InstrumentsAbstract手术器械的语义分割在机器人辅助手术中起着至关重要的作用。然而,由于镜面反射和等级不平衡的问题,白内障手术器械的精确分割仍然是一个挑战。本文提出了一种attention-guided网络来分割白内障手术器械。设计了一个新的注意模块来学习辨别特原创 2022-04-16 10:28:43 · 2097 阅读 · 4 评论 -
U-Net论文笔记
U-Net论文笔记U-Net: Convolutional Networks for Biomedical Image Segmentation官网教学视频(需要挂梯子):https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/u-net-teaser.mp4或者去我的资源下载https://download.csdn.net/download/charles_zhang_/85114968Abstact人们普遍认为,成功地训练原创 2022-04-12 11:29:24 · 2265 阅读 · 0 评论 -
MAE论文笔记
MAE论文笔记Masked Autoencoders Are Scalable Vision LearnersMAE模型和其他的结构的关系,可以认为是在ViT的基础上实现类似于BERT的通过完型填空获取图片的理解标题和作者Masked Autoencoders Are Scalable Vision Learners其中的Autoencoders 中的auto是“自”的意思,主要是指输入(x)和输出(y)是来自于同一个变量(相同),题目设置使用Autoencoders 使用为在CV领域这中类型的原创 2022-04-10 10:48:55 · 2932 阅读 · 1 评论 -
神经网络卷积核的意义是什么?
一共有三层含义下面只做简单介绍,具体请参考B站UP主王木头的视频:从“卷积”、到“图像卷积操作”、再到“卷积神经网络”,“卷积”意义的3次改变_哔哩哔哩_bilibilid第一种:一个系统具有不稳定的输入,稳定的输出,可以通过卷积去求这个系统的系统余量第二种:周围像素点对当前像素点会产生怎样的影响第三种:过滤器的卷积核,它规定了一个像素点如何试探周围的像素点,如何筛选图像的特征...原创 2022-03-31 20:33:18 · 3585 阅读 · 0 评论 -
ZFNet论文笔记--卷积可视化
ZFNet论文笔记Visualizing and Understanding Convolutional Networks算法介绍**实现可视化的目的:**打破神经网络“黑匣子”,通过可视化解释神经网络的过程ZFNet网络结构:在AlexNet的基础上进行修改,核心是可视化通过反卷积反池化进行可视化反池化通过池化时记录最大像素的位置,反池化时根据最大位置返回到对应位置反激活使用的还是ReLU函数反卷积使用原始卷积的转置卷积进行重构实例:第一层可以看到第一层卷积核每一部分负责不原创 2022-03-31 20:21:29 · 2911 阅读 · 0 评论 -
InceptionV4,Inception-ResNet论文笔记
InceptionV4,Inception-ResNet论文笔记Abstract非常深的卷积网络是近年来图像识别性能最大进步的核心。一个例子是Inception架构,它已经被证明以相对较低的计算成本实现了非常好的性能。最近,“残差连接”的引入与传统结构相结合,在2015年ILSVRC挑战赛中取得了最先进的表现;其性能与最新一代Inception-v3网络类似。这就提出了一个问题:将“Inception”与“Residual connetctions”结合起来有什么好处吗?在这里,我们给出了明确的经验证原创 2022-03-29 23:47:50 · 1995 阅读 · 0 评论 -
InceptionV4 and Inception-ResNet模型介绍及实现代码
InceptionV4 and Inception-ResNet概述Inception 结构回顾GoogLeNet(Inception-V1)BN-inception(使用batch-normalization促进整个学习过程)Inception-V2 and V3堆叠三个模块为V2结合下采样模块和其他优化方法为V3Inception-V4Inception V4性能top1 和 top5 error参数量和计算效.原创 2022-03-29 23:37:01 · 2589 阅读 · 1 评论 -
CS231n学习笔记-训练神经网络
第七章-训练神经网络目录第七章-训练神经网络大致介绍Part 1激活函数Sigmoidtanh(x)(双曲正切)ReLU函数(Rectified Linear Unit)Leaky ReLU(泄露的ReLU)ELU(Exponential Linear Units)Maxout "Neuron"总结数据预处理标准化(standardization/z-score方法)PCA(主成分分析)权重初始化正态分布初始化权重“Xavier”初始.原创 2022-02-19 21:13:55 · 1061 阅读 · 0 评论