m_buddy的博客

介绍：在模型实际部署过程中由于实际传感器缺失、计算资源限制等因素，导致对实际部署的模型裁剪，自然性能也会存在下降。对这样的情况一般会采取知识蒸馏的方式实现性能弥补，对于常见intra-modal、cross-modal、multi-modal的蒸馏方式，它们需要source和target中输入的传感器数量保持一致，这样才能实现蒸馏。具体到自动驾驶场景中激光雷达并不是在所有车型，那么对于没有激光雷达的车如何提升感知性能？对此文章提出在图像特征上添加一个模拟的Lidar特征。

介绍：这篇文章为BEV下3D目标检测领域提出了一种知识蒸馏方案，无论是Lidar还是Camera作为数据输入，它们均可以在BEV空间下实现特征对齐，则可以不用考虑前级网络由于不同模态输入而导致特征不匹配问题。对于刚完成到BEV视角转换的特征称为low-level特征，经过BEV编码器之后得到high-level特征，之后检测任务才能在high-level上得到感知结果。

介绍：由于相机的BEV感知算法缺少或较难预测准确深度信息，导致下游任务性能掉点。对此，文章提出了一种基于目标内在几何信息（TIG：Target Inner-Geometry）的知识蒸馏信息约束载体，其可以有效将Lidar准确的3D感知信息迁移给图像，进而实现camera下性能提升。文章使用的是基于LSS的方法，其知识迁移的主要是在BEV特征图上完成的，也就是提出了一种基于object（检测目标）inter-keypoints和inter-channel的知识迁移。

介绍：基于相机的BEV感知算法可以从周视图像中获取丰富语义信息，但是缺乏深度信息的，对此一些方法中通过深度估计的形式对这部分缺乏的深度信息进行补充，从而实现网络性能的提升。使用深度估计需要添加对应网络模块和标签数据，也会带来不少的工作量。对此，可以从知识蒸馏的角度从Lidar点云数据中去弥补图像中缺失的信息，这篇文章中检测网络的角度探讨了3D检测下的知识蒸馏（核心在于怎么实现不同模态数据的信息蒸馏），给出从BEV特征dense蒸馏和实例蒸馏的方法。

参考代码：LD1. 概述导读：这篇文章研究的是检测场景下的知识蒸馏方案。在该场景下的蒸馏有采取直接将对应特征图匹配到对应维度之后做特征图差异最小化，也有使用Teacher输出的GT作为引导排除大量背景等无关信息的。在这篇文章中参考和借鉴了在原分类网络中做蒸馏的思想，也就是在网络输出概率分布软化之后做蒸馏。因而这篇文章就使用到GFocal的边界框回归方案，这样就可以直接在输出的概率分布上做蒸馏，从而避免了Teacher和Student网络结构不对应带来的匹配问题，因此更加灵活。在实际进行蒸馏的时候文章指

1. PeleeNet参考代码：CaffePyTorch论文名称：《PeleeNet：A Real-Time Object Detection System on Mobile Devices》1.1 设计理念在类MobileNet的轻量化网络中广泛采用深度可分离卷积用于减少参数量和计算量，但文章指出这样的结构在不同深度学习推理框架中效率却不高。对此文章全部采用传统卷积的形式在DenseNet的基础上进行改进得到名为PeleeNet的网络。相比MobileNet网络更加轻量化，运行的速度也

参考代码：involution1. 概述导读：CNN操作已经被广泛使CV领域，其具有空间无关性（spatial-agnostic）和通道特异性（channel-specific），前一个性质来源于在空间尺度上共享卷积参数，后一个性质来自于输出通道维度上的参数各不相同。在这篇文章中提出了一种性质与之相反的操作involution，通过学习的方式去得到卷积参数，之后经过维度变换之后与unfold之后的特征进行multiply-add，从而得到最后的输出结果，这里用到的multiply-add操作可以看作是

参考代码：dmcp1. 概述导读：在网络剪枝领域中已经有一些工作将结构搜索的概念引入到剪枝方法中，如AMC使用强化学习的方式使控制器输出每一层的裁剪比例。但是正如NAS的发展过程一样，这些基于强化学习的搜索方法需要大量的训练和验证过程，而最直接的便是使用类似DARTS的直接梯度优化方法。而这篇文章中将网络的channel剪枝建模为一个可微分的马尔可夫过程（Differentiable Markov Channel Pruning，DMCP），通过直接产生的梯度信息进行优化，因而更加高效，整个剪枝的过程

参考代码：无1. 概述导读：这篇文章提出了一种channel剪枝的算法，在网络中通过嵌入SPM（Saliency-and-Pruning Module ）模块得到卷积过程中重要的channel，之后通过一个阈值得到一个二值标志序列，之后通过将其中为0的位置“置0”从而达到网络剪枝的目的。CNN中重要的channel是通过计算特征图自身的特性（文章中为均值）之后连接一个fc得到的，之后给定一个期待的计算量开销目标，之后在训练的过程中将网络现有的开销与期望的开销计算损失，从而约束CNN网络中的channe

参考代码：rethinking-network-pruning1. 概述导读：在模型进行部署的时候一般会希望模型的尽可能小，减少infer时候资源的消耗，其中比较常用的方式就是模型剪枝，其中一般常用的方式是结构化剪枝，这样会硬件也比较友好，非结构化剪枝也是可以的。其采取的步骤是首先训练一个较大的模型，之后使用剪枝算法检出那些不重要的参数，之后再在重要参数的基础上进行finetune，以期望恢复网络性能。这篇文章对剪枝的后半段进行思考， 是否真的需要在重要权重的基础上进行finetune？剪枝之后的网络

参考代码：filter-pruning-geometric-median1. 概述导读：在之前的网络剪枝文章中一般将网络filter的范数作为其重要性度量，范数值较小的代表的filter越不重要，将其从网络中裁剪掉，反之也就越重要。这篇文章分析了这一类型的网络剪枝算法，并指出这类方法并不是很高效，因为这一类的方法如果要较为成功的使用所依赖的两点并不是很容易满足：1）filter的范数偏差应该比较大，这样重要和非重要的filter才可以很好区分开；2）不重要的filter的范数应该足够的小；这

代码地址：HRankHRankPlus1. 概述导读：卷积网络的剪裁对于模型部署到终端机上具有很强的实际意义，但是现有的一些剪裁算法存在训练并不高效，人工设计剪裁方案耗时费力，其原因就是缺少对于网络中非重要成分的指引。这篇文章中在特征图中搜寻具有High Rank（HRank）特性的filter（参考矩阵分解的内容），之后将那些具有low-rank对应的filter剪除掉，从而达到网络瘦身的目的。文章的方法的原理是：由一个filter产生的特征图他们的rank均值是是一致的，CNN网络中bat

代码地址：netadapt1. 概述导读：这篇文章提出了一个新的网络压缩算法NetAdapt，它使用一个预训练好的模型在固定计算资源的手机平台上进行压缩试验，因而可以直接采集压缩之后的直接性能表现（计算耗时与功耗）作为feedback，文章指出其为direct metrics。像连乘累加操作（MACs）和网络权重数量这些常规的间接测量方式并不能很好反应网络的性能，这是因为它们与计算耗时和功耗并不直接关联。文章提出的方法实验在MobileNetV1&V2上达到了1.7倍的计算时间加速，并且取得网

代码地址：structure_knowledge_distillation1. 概述导读：这篇文章针对的是密集预测的网络场景（如语义分割），在之前的一些工作中对于这一类网络的蒸馏时照搬分类任务中那种逐像素点的蒸馏方式（相当于是对每个像素的信息分别进行蒸馏），文章指出这样的产生的结果并不是最优的（这样策略会忽视特征图里面的结构信息，像素信息之间是存在关联的），因而这篇文章提出了适应密集预测网络的蒸馏策略：1）pair-weise蒸馏：通过构建静态图（受pair-wise的马尔可夫随机场启发，增强特征图中

1. 导读导读：这篇文章从不同于原始网络剪裁的角度出发，分析了预训练给网络剪裁带来的影响，之后分析是否在网络剪裁的时候需要进行预训练，从而提出了一种不需要预训练进行的网络剪裁方式，其是通过随机初始化的方式去获取剪裁的网络结构，在这个结构上也获得了与在预训练模型上性能接近的结果，好处就是省去了花费较多预训练过程。在文章中将网络剪裁的方式划分为如下的三种形式：（a）传统的网络剪裁方式，使用预训练模型，之后在剪裁之后的网络结构上finetune；（b）相比于（a）中的方法将finetune改成了从

参考代码：ghostnet1. 概述导读：卷积网络由于其在运行时内存与计算资源的限制较难部署到移动设备上，这篇文章是在卷积网络中存在较多冗余的特征图发现基础上，进行研究并提出了一Ghost module使用代价更小的方式去生成更多的特征图。这个模块通过一系列的低代价线性变换去虚构一些特征图，从而来实现或近似复杂特征图中的信息，并且这个模块的可以很方便地嵌入到现有的网络中去。此外，文章还提出了Ghost boottenecks去堆叠Ghost module，从而构建了一个轻量级的基础网络GhostNet

1. 背景这里的任务是要在TF框架下运用现在已经较为成熟的剪枝算法，由于TF中对于可训练参数的管理与Pytorch、Caffe并不相同，这篇文章对其TF实现卷积参数剪枝进行了探究。2. TF中可训练参数的存储TF中是将网络构建为一个计算图，在一个计算图中可以通过集合(collection)来管理不同类别的资源。比如通过tf.add_to_collection函数可以将资源加入一个或多个集合中...

代码地址：Distilling-Object-Detectors1. 概述导读：这篇文章是在two stage检测网络Faster RCNN基础上使用知识蒸馏改进亲轻量级网络性能。其中的核心思想是teacher网络中需要传递给student网络的应该是有效的信息，而非无效的背景区域信息，因而文章将backbone输出的特征图与RPN网络输出的结果进行组合，从而得到student网络应该学习的...

1. 概述导读：这篇文章是在检测模型上使用知识蒸馏，从而实现在减小检测模型尺寸与推理时间的同时，尽可能提升小模型的检测性能。这篇文章是基于Tiny-YOLO的检测模型，但是在知识蒸馏的部分做了较多的工作，归纳为：（1）objectness scaled distillation：按照目标是否为检测模型的置信度给蒸馏的网络添加权重参数，相当于是objectness-ware；（2）FM_NMS（...

1. 概述这篇文章是比较早的文章，但是很多后序的工作都是源自于此，文章中提出了使用soft target（文章中说的是softmax层的输出）来实现大的模型到小的模型之间的知识迁移，从而提升小模型的性能。对于这里使用soft target而非hard target（如分类的类别目标），其原因是软目标能够提供更多可供训练的信息，而硬目标则会造成梯度上方差的减小。有了软目标的帮助小的模型能够更少的参...

1. 概述前言：这篇博客中涉及到的是网络在做int8 infer时候涉及到的量化方法，这里并不涉及到int8训练的东西，这篇文章涉及到的量化方法主要来自于：Quantizing deep convolutional networks for efficient inference: A whitepaper。深度学习中网络的加速主要有如下的几种方式：1）设计高效且小的网络，如Mobil...

代码地址：slimming1. 概述导读：这篇文章是一篇关于CNN网络剪枝的文章，文章里面提出通过BatchNorm层的scaling参数确定重要的channel，排除不重要的channel，从而达到网络瘦身的目的。此外文章还引入了L1范数，通过L1范数约束的稀疏特性使得BN的scaling参数趋于0，从而帮助确定非重要的channel，并按照给定的阈值剪裁掉。总的来说这篇文章具有一定局限性...

使用环境：win10 64bits，VS2015，Opencv4.1.01. 概述最近的几年Opencv开始在DNN领域耕耘，退出了网络inference的接口，其速度还是比较快的，特别是在本来就使用Opencv的图像处理代码中可以直接使用DNN模块直接加载model做inference，免除了添加附加依赖支持的问题。在4.1.0的版本中已经实现了将model从caffe、tensorflow...

1. 概述这篇文章提出了一种基于LASSO回归的通道选择和最小二乘重构的迭代两步算法，有效地对每一层进行修剪。并进一步将其推广到多层和多分枝的场景下。论文中的方法能够减少累积误差并且提升对于不同结构的适应性。该方法在VGG-16数据集上实现了5倍加速并且只有0.3%误差提升。更重要的是文章中的方法可以用于加速像ResNet和Inception，在加速两倍的情况下只牺牲了1.4%和1.0%的准确率...

1. 概述一般在做模型的时候开始最关心的是模型的性能，也就是模型的精度，我们可以增加网络的宽度与深度，来不断增加模型的表达能力。在精度达标之后，网络也变地很臃肿了，其实里面很多的参数都是非必须的，也就是冗余的。如何去掉这些冗余呢？在之前的文章中讲到了了几种方法，这篇论文中给出的方法与之前的方法思路不同，是按照聚类的思想来去除冗余的filters，从而减少网络中filters的数量，达到网络剪裁的...

1. 概述这篇文章中给出了一种叫作SFP（Soft Filter Pruning），它具有如下两点优点：1）Larger model capacity。相比直接剪裁掉网络中的filters，再在这个基础上finetune，这篇论文中的方法将其保留，这为优化网络的表达以及任务能力提供了更多空间。2）Less dependence on the pretrained model，采用上述的方法可...

1. 概述这篇文章提出了一种“try-and-learn”的算法去训练pruning agent，并用它使用数据驱动的方式去移除CNN网络中多余的filters。借助新的奖励机制，agent可以大量移除CNN网络中的filters，并且保持网络的精度在期望的水平内。在网络性能和规模上提供了很好的操控性。这篇文章中的方法具有如下特点：1）使用数据驱动的方法去剪枝。并且通过实验数据驱动方法剪枝的...

1. 概述神经网络的模型是计算密集且内存密集的，这就制约了其在嵌入式设备上的使用。文章中的方法分为三个阶段：剪枝、量化训练、霍夫曼编码。量化阶段只会保留重要的filter；量化权重来强制权重共享；使用霍夫曼编码进一步减少模型占用。在前面的两步里面会进行finetune，剪枝会剪除9倍到13倍的连接（全连接？），量化把bit位规定到5。文章的方法将AlexNet从240MB压缩到了6.9Mb，VG...

1. 概述在这篇文章中给出了新的模型压缩方法：Dynamic Network Surgery。该方法有别于传统的贪心方法，论文中说将连接剪接恰当地融入到整个过程中，以避免不正确的剪接，使其成为一个持续的网络维护。经过实验证明，该方法是有效的，在网络LeNet-5与AlexNet上分别实现了108倍与17.7倍的压缩，而且没有精度损失。目前开源代码给出的说明显示该方法对于可以运用在卷积与全连接中...

1. 概述CNN网络经被在众多方面展现了其成功，但是随之而来的是巨大的计算量与参数存储空间。这篇论文中给出一种剪除卷积滤波器的方法（确实会影响精度），但是移除这些滤波器与其对应的feature map之后确实带来计算量的降低，而且并不会导致连接的稀疏，从而就并不需要支持稀疏的卷积库，可以使用现有的BLAS库。在实验中减少了VGG-16中34%和ResNet-110中38%的计算量，并且通过重新训...

1. 概述导读：这篇文章为移动和嵌入式设备应用提供了一个搞笑的网络模型MobileNets。该网络是使用depthwise分离卷积构建轻量级的神经网络。期间引入了两个全局超参数使得可以在网络时效与精度之间折中选择，这些参数可以使得开发者可以根据任务的实际需求选择网络的大小。文章提出的新模型在ImageNet数据集也上表现除了强大的性能，同样也可以将该模型运用到其它的场景下比如，目标检测。现...

代码地：MobileNet v21. 概述导读：这篇文章提出的网络结构叫做MobileNet v2是在v1的基础上改进得到的，使用了改进的残差网络结构优化网络的性能。其主要贡献是提出了一种新型的网络层模块，该模块的输入是低维度的压缩表达，之后经过轻量级的depthwise卷积扩展到高纬度，最后特征经过线性卷积映射到低维度去。官方已经在Tensorflow-Slim模块库中包含了该模块，在其它...

概述这篇文章在MobileNet v2的基础上提出了一个新型的轻量级网络结构MobileNet v3。其是用NAS与NetAdapt两个算法搜索出来的。这篇文章针对MobileNet v3给出了两个版本的实现MobileNetV3-Large和MobileNetV3-Small，分别应对资源消耗高低的场景。这两个网络结构成功用于目标检测与语义分割任务中。对于语义分割任务文章提出了一个新的高...

1. 概述导读：这篇文章采用分组卷积（pointwise group convolution）与通道混合（channel shuffle）操作构造了一个新的轻量级网络ShuffleNet。在ImageNet分类任务上top-1的错误率比MobileNet低了7.8%，计算量只有40 MFLOPs。在基于ARM的移动设备上ShuffleNet在保持与AlexNet相似精度的情况下快了13倍。...

1. 概述导读：文章指出现有使用例如FLOPs作为网络计算复杂度度量的方式是不准确的，还应该考虑诸如内存访问开销（MAC）以及平台特性等因素。这篇文章在固定的平台下进行实验分析（度量为速度与延迟），并给出了一些具有使用价值的网络设计指导意见。同时还提出了ShuffleNet的改进版本ShuffleNet v2，在网络性能与精度之间权衡做到了当时的state-of-the-art。下面是当时...

代码地址：EfficientNet-PyTorch1. 概述导读：一般来讲CNN网络被设计拥有固定的资源开销，要是在资源允许的条件下可以通过增加网络深度来提升性能（例如ResNet18到ResNet200）。这篇文章系统研究了模型规模，验证了有效平衡网络的深度宽度与特征分辨率能带来更好地性能提升。在此基础上，文章提出一种新的scaling方法，该方法使用一个简单而高效的复合系数（compou...

1. 论文思想深度神经网络在计算与存储上都是密集的，这就妨碍了其在嵌入式设备上的运用。为了解决该问题，便需要对模型进行剪枝。在本文中按照网络量级的排序，使得通过只学习重要的网络连接在不影响精度的情况下减少存储与计算量。论文中的方法分为三步：首先，使用常规方法训练模型；使用剪枝策略进行模型修剪；在修剪模型的基础上进行finetune。经过试验证明改文章提出的方法使得AlexNet的大小减小了9倍...

1. 概述导读：论文中研究了在资源限制环境下实现较少资源消耗网络推理的两种不同模型压缩方法（结构化剪枝压缩：small-dense与非结构化剪枝压缩：large-sparse），并且提出了一种在多种模型与数据上可以直接使用的新逐渐剪枝方法，并且可以集成到训练过程中去。文中比较了剪裁之后大且稀疏（large-sparse）与小与稠密模型的精度（small-dense），这些模型涵盖了深度CNN网...

1. 概述这篇文章提出了结构系数学习（Structured Sparsity Learning，SSL）的方法去正则网络的结构（filter，channel，filter shape，网络的深度），SSL的特点是：1）从大的DNN网络去学习一个的紧密结构，减少计算花销；2）获得一个硬件友好的DNN稀疏结构去加速网络。在实验中使用SSL方法对AlexNet在CPU与GPU上分别加速了5.1与3...