![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yolox
文章平均质量分 74
Joejwu
努力学习,积极分享!
展开
-
深度神经网络知识蒸馏算法基础理论
鉴于此,在本文后续的研究中,所选择的学生模型均为剪枝后的模型,而教师模型则为该剪枝模型在未剪枝情况下的完整模型。同时,如之前博客中知识蒸馏算法的相关研究现状一节中所述,目前知识蒸馏方法主要分为了三类,即基于相应的、基于特征的以及基于关系的知识蒸馏三种,鉴于基于特征的蒸馏方法需要在网络模型中添加连接器,而基于关系的蒸馏方法则大多需要构建关系矩阵,应用在复杂的目标检测认识模型上时,计算冗余且耗时较长,鉴于此,后文相关研究中将选择基于响应的知识蒸馏方法。,以增强蒸馏损失的比重来加强蒸馏效果。原创 2023-07-03 20:58:24 · 404 阅读 · 0 评论 -
深度神经网络剪枝算法基础理论
卷积核剪枝与Kernel剪枝也同样有联系,如前所述,卷积核剪枝首先会筛选出当前层中不同要的卷积核,随后剪枝,但需要注意到,该层的卷积核剪枝还会影响到下一层的卷积核中的Kernel,因为下一层卷积核的Kernel数是与上一层的输出通道数对应的,两者需要同时改变。在结构化剪枝方案中,根据评估指标来源所划分的两类剪枝方法,即参数驱动的与数据驱动的方法,鉴于数据驱动的剪枝方案多依赖于训练数据,并根据不同的输入数据计算对应的梯度或损失值等来作为评估依据,相较于参数驱动的方法往往存在更多的计算;原创 2023-07-03 20:55:41 · 523 阅读 · 0 评论 -
深度神经网络量化算法基础理论
参考之前博客中的量化分级,本文将主要关注Level3的量化方法,即通过在训练过程中模拟量化,来尽可能地降低由量化带来的精度损失,其属于量化感知训练一类,本小节将介绍的即为量化感知训练方法的一些基础理论。最后从量化粒度的角度,可将量化分为逐通道量化与逐层量化,例如在卷积层中,同一层的每个卷积核(Filter)拥有独立的量化参数则为逐通道量化,若每个卷积核共享同一组量化参数,则为逐层量化。为便于理解,下面将通过[67][158]中的量化方案来阐述相关概念,其中非对称量化的计算如式2.6中所示。原创 2023-07-03 20:52:41 · 522 阅读 · 0 评论 -
YOLO v5目标检测模型
mAP的计算则是在某个设置的交并比阈值下,该数据集上所有类别的平均精度AP的平均值,例如常见的mAP50表示的是在交并比阈值设置为0.5时,所有类别平均精度的均值,而mAP50:95则表示的是交并比阈值从初值0.5开始,以0.05为步长增长到0.95的情况下,得到的10个mAP的均值。同理,40×40的特征图适用于检测中等大小的目标。Mosaic增强主要用来提高小目标的检测效果,在中,定义的小目标大小为低于32×32像素值的,中目标大小为低于96×96,高于32×32的,大目标为高于96×96的;原创 2023-07-03 20:41:39 · 3079 阅读 · 0 评论 -
深度卷积神经网络基础理论
本文将介绍深度卷积神经网络中最常见的几种层(算子),分别包括全连接层、卷积层、BN层、池化层以及激活函数层,主要包括这些层在卷积网络中发挥的作用以及该算子的计算方式。原创 2023-07-03 20:07:16 · 319 阅读 · 0 评论 -
模型压缩算法国内外研究现状综述
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]原创 2023-07-03 19:57:05 · 1765 阅读 · 0 评论 -
目标检测算法国内外研究现状综述
结合图1.1可以看到,近20年来目标检测领域的技术路线主要可分为两个阶段,即以传统检测方法为主的第一阶段,以及基于深度学习的第二阶段。为了完整阐述目标检测技术路线的演变过程,下面将按照这两个阶段以及第二阶段中的分类情况顺序介绍相关算法的特点。需要注意的是,在本节中出现的mAP(mean Average Precision),即平均精度,均为mAP50。图1.1 目标检测算法近20年来发展路线图。原创 2023-07-03 19:24:19 · 12267 阅读 · 4 评论 -
卷积神经网络通道剪枝算法小结
一、剪枝分类 目前常见的模型剪枝算法主要分成两类,即非结构化剪枝与结构化剪枝;在不少的神经网络加速器中已经应用了这些剪枝算法,早期常见的是非结构化剪枝,例如MIT的韩松组的前几年的相关工作中就有此类应用,但是在设计中采用的特殊数据格式和额外的编码/解码会带来额外的硬件开销; 这在基于传统系统架构的情况下,利用非结构化剪枝或者可以为NN模型的计算起到加速的作用,但是在存内计算架构下,基于ReRAM或SRAM这类紧耦合的电路结构中将很难去利用网络中存在的稀疏特征; ...原创 2021-10-10 15:58:33 · 7188 阅读 · 2 评论 -
基于SRAM或ReRAM的存算一体化架构及其常见稀疏方案
存算一体化架构设计以各种传统工艺(如SRAM、NorFlash)或新型忆阻器工艺(如FeRAM、ReRAM、PCM和MRAM)制作器件构建存储阵列,将神经网络权值参数直接存储在阵列内部,并以模拟信号的形式并行执行大规模矩阵乘法。以典型的存算一体化硬件架构为例,向量以电压形式驱动阵列字线(行),利用电压乘以电导(按照DNN的权值对忆阻器阻值进行编程)等于电流,并且电流在位线(列)自然汇聚相加的电流定律,一次读操作即可完成向量与矩阵的乘加操作。这种方法不但提高了矩阵乘法的并行度,而且避免了反...原创 2021-10-10 14:59:57 · 1951 阅读 · 0 评论 -
YoloX_s网络模型
YoloX_s输出的网络结构如下:YOLOX( (backbone): YOLOPAFPN( (backbone): CSPDarknet( (stem): Focus( (conv): BaseConv( (conv): Conv2d(12, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn): BatchNorm2d(32, e原创 2021-09-08 16:07:02 · 2404 阅读 · 0 评论 -
YoloX的demo测试、训练、评估记录
1 准备工作1.1 clone官方仓库 以下工作建立在已经掌握了使用anaconda搭建环境的基础上! 然后克隆下来yolox的官方仓库,如下:git clone git@github.com:Megvii-BaseDetection/YOLOX.git 如果无法直接clone,也不用慌,直接下载就行了,和克隆下来一样,只不过后期官方更新了的话,需要自己重新下载更新就是了!1.2 搭建环境cd YOLOX pip3 instal...原创 2021-09-08 15:59:24 · 9146 阅读 · 20 评论