lovep1的博客

1、paper：https://arxiv.org/pdf/2104.09044.pdf2、code：https://github.com/dvlab-research/ReviewKD思谋科技出品的paper，d2的源码，是不是考虑白嫖一波，先分析一下paper的思想

paper：https://arxiv.org/pdf/2103.02340.pdfcode：GitHub - daixinghome/Distill_GID_detectron2首先给出论文链接和源码链接，默默地发现是基于D2的代码，说不定可以白嫖一波，先写一下论文，后续再仔细研读一下源码，旷视的工作还是很良心的，重点指出的是，这篇paper和我的上一篇kd的博客的paper都是覆盖anchor-based、anchor-free的，因此我觉得算是很不错的工作。1、abstract ..

paper：https://openreview.net/pdf?id=uKhGRvM8QNHcode：https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR20211、摘要： 开篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对不同像素之间的关系的蒸馏。基于这两个原因，本文提出了注意力引导机制和non-local机制来..

直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf开局提到有数种模型加速的方法：1、权重共享和剪枝2、低秩分解3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器4、KD然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型，一个kd系统包括三个部分，knowledge、蒸馏算法，teacher模型。入下图所示：接下来文章回.

v1 paper：https://arxiv.org/pdf/1707.01083.pdfv2paper：https://arxiv.org/abs/1807.11164code：本文不提供code，参见各个框架的reademe讲道理，存在mobielnet的情况下，我对shuffleNet的用法就少了很多，最大的存在感是shuffleNetV2提出了嵌入式芯片设计网络时的准则，这个才是关键所在，其他的一般情况下还是用mobilenet比较成熟，配合检测算法用的也比较多，部署框架支持的也...

一文看遍mobilenet，毫无疑问，移动端的轻量级网络中mobienet肯定是首当其冲，从v1-v3，有着相当的提升和改进，但究其核心，最主要的还是引入了深度可分离卷积的计算，确实很有代表性，不过在v3中引入了NAS，这就比较玄学了，v3我没有直接复现过，只玩过基于它实现的目标检测网络，v3的yolov3我记得可以在voc上做到74%左右，效果挺好的，v1和v2的目标检测网络，比如mobilenet-ssd、mobilenet-yolo在部署的时候的确相当轻量化，尤其是当年mobilenetv1-ssd结

1、韩松的deep_compression：稀疏化、kmeans聚类、哈夫曼压缩编码三个角度压缩模型2、Pruning Filters for efficient converts 使用l1-norm来作为通道权重的重要性进行剪枝，提出了通道敏感度这一思想，边剪边训练最终达到最佳值3、Network training：a data driven neuron pruning approach torwards efficient deep archtectures ...

1、Tensorrt的量化方式/ncnn对称的饱和量化，从ncnn的源码来看，使用的是逐通道量化，tensorrt没看源码就不知道了（应该也是）：问题的核心转化为如何寻找一个最优值T，是的饱和量化能够精度最小，转化为最优化的问题。英伟达使用kl散度来比较量化前后两个分布的差异，即相对熵，则问题转化为求相对熵的最小值。1、从信息熵的角度来解释，kl散度最小则代表两个分布差异最小。2、将log换为以2为底的数，则代表信息的编码字组组成，编码信息量的差异。量化流程（尽量去简化理解，其实很.