自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 收藏
  • 关注

原创 t-rex2开放集目标检测

可以作为zero-shot的检测器或者一些快速数据集生成的data-engine方式。

2024-03-24 17:51:11 1830

原创 Distilling Knowledge via Knowledge Review论文和源码阅读笔记

1、paper:https://arxiv.org/pdf/2104.09044.pdf2、code:https://github.com/dvlab-research/ReviewKD思谋科技出品的paper,d2的源码,是不是考虑白嫖一波,先分析一下paper的思想

2021-12-01 21:48:18 1584 3

原创 General Instance Distillation for Object Detection 论文和源码阅读笔记

paper:https://arxiv.org/pdf/2103.02340.pdfcode:GitHub - daixinghome/Distill_GID_detectron2首先给出论文链接和源码链接,默默地发现是基于D2的代码,说不定可以白嫖一波,先写一下论文,后续再仔细研读一下源码,旷视的工作还是很良心的,重点指出的是,这篇paper和我的上一篇kd的博客的paper都是覆盖anchor-based、anchor-free的,因此我觉得算是很不错的工作。1、abstract ..

2021-11-24 17:18:46 2721 1

原创 IMPROVE OBJECT DETECTION WITH FEATURE-BASEDKNOWLEDGE DISTILLATION: 论文和源码阅读笔记

paper:https://openreview.net/pdf?id=uKhGRvM8QNHcode:https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR20211、摘要: 开篇paper提到kd之所以在目标检测上的失败主要是两个原因:1、前景和背景之间的像素不平衡。 2、缺乏对不同像素之间的关系的蒸馏。基于这两个原因,本文提出了注意力引导机制和non-local机制来..

2021-11-23 19:48:06 2370 1

原创 knowledge distillation 综述

直接上论文survey:https://arxiv.org/pdf/2006.05525v6.pdf开局提到有数种模型加速的方法:1、权重共享和剪枝2、低秩分解3、转移的紧凑卷积滤波器:这些方法通过转移去除无关紧要的参数或压缩卷积滤波器4、KD然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型,一个kd系统包括三个部分,knowledge、蒸馏算法,teacher模型。入下图所示:接下来文章回.

2021-11-22 22:23:00 2438

原创 关于目标检测的distillation的一点理解

1、常见的基本操作文章代表Learning Efficient Object Detection Models with Knowledge Distillation 如上图所示 , 首先在teacher-model和student-model的中间层featuemap进行学习和蒸馏,如果遇到st-model和te-model的feature-mapshape不一致时,则使用adaption模块来完成统一,然后计算l2距离。 其次,RPN\RCN部分的分类的暗知识以及回...

2021-10-31 00:43:52 835

原创 DETR阅读笔记和源码理解:End-to-End Object Detection with Transformers

paper:https://arxiv.org/pdf/2005.12872.pdfcode:https://github.com/facebookresearch/detr近年,transformer开始大量从NLP引入计算机视觉,使得很多工作有了新的方向,本篇paper是第一篇端到端的将transformer引入目标检测和全景分割的工作,我对这个领域也没有那么熟悉,算是一起扫盲了,如果有新的idea,可以尝试复现一波,本文将按照paper的结构进行叙述(本篇paper解读只是占个坑,我对DETR

2021-04-06 23:41:53 1801

原创 YOLOF-You Only Look One-level Feature阅读笔记

paper:https://arxiv.org/abs/2103.09460code:https://github.com/megvii-model/YOLOF本文最大的贡献应该是对FPN重新进行了思考,从另外一个角度认为fpn解决的也许不是多尺度特征融合的问题,干掉了由于fpn带来的多级密集anchors带来的庞大计算量的问题,针对paper认为的fpn潜在解决的问题,paper提出了新的结构,替代fpn,使用单级featuremap预测,从而大幅度减少了计算量和训练时的迭代时间,本文将按照pap

2021-04-05 00:28:58 409

原创 详解卷积神经网络的反向传播原理-cnn反向传播、池化层的反向传播

本文详细讲解dnn和cnn的反向传播流程。其实无论是dnn还是cnn、pool层,最重要的是,我们要弄清楚反向传播的四个公式,弄清楚他们,我们就明白整个网络是如何运作和优化的,4个核心公式分别是: 1、输出层的误差方程 -这个是基础 2、误差传递方程 3、可训练参数权重w的变化率(梯度) 4、可训练参数偏置b的变化率(说到底其实网络就是在算误差,然后优化w和b,使得最后误差最小)同时理解各种层的前向推理过程,那么整个网络的流动和机制就相当清晰了。...

2021-03-18 15:58:57 2674 1

原创 详解常用的Batch Norm、Group Norm,Layer norm、Instance Norm

本文主要分析各种norm化方法,包括batch norm, group norm, instance norm,等,用的最多的肯定是batch norm,后续凯明何大佬又提出了gropu norm,但是其实在cv里面还没有真正的普及,尤其是在工业界部署上面,用的最多的还是batch norm,尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等(本文不提及,后续文章有需要会单独分析此类论文)后,batch-norm凸显的更加重要了,本文将不按照论文结构解析。1、batch

2021-03-15 22:20:51 10808 4

原创 详解各种iou损失函数的计算方式(iou、giou、ciou、diou)

本文主要是理解各个回归损失函数的区别和改进,其实最主要的还是这些损失函数在yolo中起到了非常大的作用,包括从最原始的yolov3中引入,到v4、v5中变成真正的官方损失函数,确实很有效。本文将逐条分析这些损失函数,并不会按照论文结构来描述。1、IOU paper:https://arxiv.org/pdf/1608.01471.pdf iou-loss本身是是从人脸检测的paper引入进来的,由于此文只分析损失函数比较简单,我们只讨论IOU-LOSS,先看paper的原图:...

2021-03-09 11:43:39 19287 4

原创 详解目标检测算法坐标回归方式-anchor-based方法

本文讨论或者复习一下目前最流行的深度学习目标检测算法的坐标回归方式,注意,本文讨论的是anchor-based,至于anchor-free的方法,每一种anchor-free各自对应一种后处理,咱们这边就不详细讨论了。一、常用的faster rcnn、retinanet、ssd等cls+reg head类型。 总体来说,根据anchor来提供初始坐标,然后利用anchor的初始值去回归线性变化时的参数(偏移值和尺寸值),最后将这些参数配合固定anchors成为具体的坐标,细节如下: ...

2021-03-06 17:36:26 6248 2

原创 ShuffleNet系列论文:从v1-v2

v1 paper:https://arxiv.org/pdf/1707.01083.pdfv2paper:https://arxiv.org/abs/1807.11164code:本文不提供code,参见各个框架的reademe讲道理,存在mobielnet的情况下,我对shuffleNet的用法就少了很多,最大的存在感是shuffleNetV2提出了嵌入式芯片设计网络时的准则,这个才是关键所在,其他的一般情况下还是用mobilenet比较成熟,配合检测算法用的也比较多,部署框架支持的也...

2021-03-03 16:34:07 1045

原创 mobilenet系列论文解读:从v1-v3

一文看遍mobilenet,毫无疑问,移动端的轻量级网络中mobienet肯定是首当其冲,从v1-v3,有着相当的提升和改进,但究其核心,最主要的还是引入了深度可分离卷积的计算,确实很有代表性,不过在v3中引入了NAS,这就比较玄学了,v3我没有直接复现过,只玩过基于它实现的目标检测网络,v3的yolov3我记得可以在voc上做到74%左右,效果挺好的,v1和v2的目标检测网络,比如mobilenet-ssd、mobilenet-yolo在部署的时候的确相当轻量化,尤其是当年mobilenetv1-ssd结

2021-03-01 19:27:47 3077 6

原创 deepsort阅读笔记

code:https://github.com/weixu000/libtorch-yolov3-deepsortdeepsort是我接触的最适合用来做部署的多目标跟踪框架,典型的detection based tracking(DBT)方式,效果也相当不错,据我所知,目前很多厂商包括科研机构都在此算法上做进一步创新,但实际上,整来整去也就是在提取特征的那个模型训练或者第一级的检测模型训练,原理上的创新真的很少。进一步的比对现在的完全基于深度学习的Siamese 系列(单目标追踪),我觉得落地效果真的要

2021-03-01 11:32:39 532

原创 Learning Spatial Fusion for Single-Shot Object Detection one-stage-yolo优化

paper:https://arxiv.org/abs/1911.09516code:https://github.com/ruinmessi/ASFF

2021-02-25 16:53:22 362

原创 Gaussian YOLOv3 An Accurate and Fast Object Detector Using Localization one-stage-yolo优化

paper:https://openaccess.thecvf.com/content_ICCV_2019/html/Choi_Gaussian_YOLOv3_An_Accurate_and_Fast_Object_Detector_Using_Localization_ICCV_2019_paper.htmlcode:https://github.com/jwchoi384/Gaussian_YOLOv3

2021-02-24 17:26:14 371

原创 one-stage-anchor-free CornerNet: Detecting Objects as Paired Keypoints

paper:https://arxiv.org/abs/1808.01244code:https://github.com/princeton-vl/CornerNet首先,这篇paper的代码我是没有跑通的(训练自己的数据集),但是是一篇非常具有开创性的paper,后面的centernet(object as points)等都是基于这个工作来做的,backbone用的是hourglass,讲道理,这个backbone实在是太重了,在以point为核心的one-stage检测算法中广泛应用,但实在

2021-02-23 21:22:31 161

原创 one-stage-anchor-free CenterNet:Objects as Points

paper:https://arxiv.org/pdf/1904.07850.pdf官方代码:https://github.com/xingyizhou/CenterNet我的代码:https://github.com/panchengl/centernet_prune 首先提一下我的代码复现(torch),官方代码支持包括2d目标检测、3d检测、姿态估计任务,我移除了其他的任务,并简单的重构了代码,使得代码更加易读,然后基于我改后的代码完成了模型压缩(剪枝方案),并使用了VOC的测试方法(..

2021-02-22 11:11:14 310 1

原创 one-stage-anchor-free-fcosnet:FCOS: Fully Convolutional One-Stage Object Detection

paper:https://arxiv.org/pdf/1904.01355.pdfcode:https://github.com/tianzhi0549/FCOS我的复现:https://github.com/panchengl/pcldetection 当年经典的SOTA算法,现在似乎有点精度落后(但依旧很高),但是近期paper团队有重新对fcosnet做了实验进行改进,精度直接冲到SOTA了(我记得coco-ap达到0.49了),改动在哪忘了,先讨论原版的文章结构,有时间再写新的p..

2021-02-20 20:53:56 371 3

原创 one-stage-anchor-based-retinanet进阶-YOLACT Real-time Instance Segmentation

paper地址:https://arxiv.org/pdf/1904.02689.pdfgithub地址:https://github.com/dbolya/yolact使用retinanet作为基础的目标检测器,增加mask分支,将实例分割分成两个并行的子任务。精度是比mask rcnn要差的,但是速度相当快,后续也提出了yolact++作为补充,但根据我的实际测试来看,使用效果不是太好。我对实例分割没有那么的熟悉,因此yolact更多的是进行与检测方面的对比和思想的理解。...

2021-02-19 19:35:21 153 1

原创 one-stage-anchor-based-retinanet: Focal Loss for Dense Object Detection

论文地址:https://arxiv.org/pdf/1708.02002.pdfkeras复现代码(19年左右最广泛使用):我的复现:https://github.com/panchengl/pcldetection总体印象: 号称第一个以one-stage结构能够干赢two-stage结构的算法,根据实际使用来看,精度还是有差异(coco上超过了faster -rcnn,但实际使用中光以ap值而言也许并不准确,比如误检的问题并不能够完全体现,faster rcnn还是相当优秀),但..

2021-02-19 15:56:34 196

原创 two-stage-anchor-based-faster-rcnn进阶-mask rcnn:Mask R-CNN

paper:https://arxiv.org/abs/1703.06870code:https://github.com/matterport/Mask_RCNN mask rcnn是基于faster rcnn的改进的一种实例分割算法(得到目标实例同时也生成bbox,检测结果也刷出新高),由目标检测算法直接引申到实例分割领域,典型的top-down,也叫做 detect-then-segment,顾名思义,先检测后分割。在实例分割上一度领先独领风骚,即便是放在现在,mask rcnn的效果也..

2021-02-18 17:50:11 580 1

原创 two-stage-anchor-based-faster-rcnn进阶 Cascade R-CNN: Delving into High Quality Object Detection

cascade rcnn:是基于faster rcnn的一种改进,我的理解是这个算法更趋近于stage by stage的算法,利用不同的IOU阈值选取,将多级目标检测器进行级联,进一步的优化检测结果,这个算法应该是各个比赛刷榜的主要算法了,不出意是速度奇慢,但在two-stage里面,我觉得相当具有代表性。文章出发点: 1、IOU=0.5(此处IOU指的是正负样本的界定值)时会出现较多的误检,应为0.5时正样本会引入更多的背景 2、但一味的提高iou并不一定是好事,阈值越小,对应...

2021-02-16 00:14:28 498

原创 two-stage-anchor-base-Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

two-stage中最经典的通用目标检测算法,希望下篇在本文的基础上更进一步分析two-stage算法1、结构详解逻辑图: 训练原理图(来源-https://blog.csdn.net/weixin_43198141/article/details/90178512)完整细节图(来源见水印):从上图可以看出,faster rcnn可以分为三部分:1、backbone:基础的特征提取网...

2021-02-06 17:18:08 179

原创 channels级别的剪枝论文方法分析-希望能够持续更新

1、韩松的deep_compression:稀疏化、kmeans聚类、哈夫曼压缩编码三个角度压缩模型2、Pruning Filters for efficient converts 使用l1-norm来作为通道权重的重要性进行剪枝,提出了通道敏感度这一思想,边剪边训练最终达到最佳值3、Network training:a data driven neuron pruning approach torwards efficient deep archtectures ...

2021-02-06 12:17:51 1189

原创 量化总结2-tensorrt、ncnn的后量化方式

1、Tensorrt的量化方式/ncnn对称的饱和量化,从ncnn的源码来看,使用的是逐通道量化,tensorrt没看源码就不知道了(应该也是):问题的核心转化为如何寻找一个最优值T,是的饱和量化能够精度最小,转化为最优化的问题。英伟达使用kl散度来比较量化前后两个分布的差异,即相对熵,则问题转化为求相对熵的最小值。1、从信息熵的角度来解释,kl散度最小则代表两个分布差异最小。2、将log换为以2为底的数,则代表信息的编码字组组成,编码信息量的差异。量化流程(尽量去简化理解,其实很.

2021-02-06 12:00:43 1335 2

原创 量化总结1-Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

先回顾论文的思想,再进一步讨论改进,本方法我进行了复现,但是没有将卷积乘法改成int型乘法,因为服务器没法做:1、本方法属于线性量化,如下式,q是fp32的r的量化后的值:将最小值也做了对应的量化(zero-point)。讨论矩阵乘法的整形运算(我觉得是本文最精华的地方)流程如下式所示,式2->式3->式4->式5:由上可知,除了M以外,全部是整数,同时,我们进一步的将乘以M这个浮点操作转化为整数运算和...

2021-02-06 11:47:15 1196 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除