- 博客(16)
- 收藏
- 关注
RSS订阅原创 T-PAMI2023: PAGCP-基于性能感知近似的多任务模型全局通道剪枝
本文提出了一种基于性能感知近似的全局通道剪枝框架（PAGCP），可以有效并广泛应用于包括目标检测、多任务密集预测甚至分类等各种模型的压缩中。作者从理论上推导出PAGCP的优化目标，并设计了序贯式贪心剪枝策略来近似解决目标问题。该剪枝策略通过分步的序贯式通道剪枝来考虑层内和层间不同卷积核对压缩性能的相互影响，并通过性能感知的Oracle约束准则来考虑卷积核对不同任务的敏感程度不同这一特性。
2023-03-23 02:47:40
3409
1
原创 Distilling Object Detectors with Task Adaptive Regularization论文笔记
论文地址：https://arxiv.org/abs/2006.13108github地址：无本文提出了一种针对任务级自适应正则化的目标检测蒸馏方式，从三个模块对模型进行蒸馏：提取特征的backbone，用于分类的header以及用于回归的header。Motivation目前的知识蒸馏算法大多数都应用于分类任务，很难直接应用于检测模型。原因主要有两个方面：1. 检测任务中大量的背景样本使得正负样本不均衡，导致模型的分类任务更困难；2. 目标检测的网络更加复杂，尤其对于二阶段网络而言，有许多模块组合
2020-07-27 16:36:36
1055
1
原创 EfficientDet：Scalable and Efficient Object Detection论文笔记
论文地址：https://arxiv.org/pdf/1911.09070.pdfgithub地址：https://github.com/google/automl/tree/master/efficientdetMotivation本文作者根据EfficientNet扩展出高效的目标检测网络EfficientDet，其中主要贡献点为BiFPN和compound scaling两部分。作者根据架构搜索得到一系列的EfficientDet，用D0-D7表示。它们的速度逐渐变慢，但精度也逐渐提高。其中Ef
2020-07-06 04:05:11
202
原创 Knowledge Distillation & Student-Teacher Learning for Visual Intelligence: A Review & New Outlooks
论文地址：http://arxiv.org/abs/2004.05937github地址：无这是篇关于知识蒸馏的综述文章。知识蒸馏被认为是用于模型压缩的非常有效的一种方式。本文作者从模型压缩和知识迁移两个应用场景概述了近年来对知识蒸馏的研究。Outlines知识蒸馏的定义由Hinton等人提出，表示较小规模的学生网络的训练过程由较大规模的教师网络的监督进行。其目标函数可表示为：其中H为损失函数类型，y是真实标签，σ\sigmaσ是含有温控系数TTT的softmax函数，zs,ztz_s, z_
2020-06-08 02:06:35
837
2
原创 Learning efficient object detection models with knowledge distillation论文笔记
论文地址：http://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillationgithub地址：无Motivation本文提出针对目标检测网络的知识蒸馏压缩算法。之前的大多数知识蒸馏压缩算法都用于分类网络，虽然能在保留精度的同时，压缩模型，提升速度，但只在分类任务上得到了印证，在更复杂的object detection上还有待探索。在目标检测任务中，存在特殊的挑战：
2020-05-18 02:15:50
1962
1
原创 Preparing Lessons: Improve Knowledge Distillation with Better Supervision论文笔记
论文地址：http://arxiv.org/abs/1911.07471github地址：无本文提出两种监督方式来提高知识蒸馏的效果，旨在解决teacher网络出现错分类结果和模糊分类结果时的蒸馏问题，保证student网络始终学习到有效的知识。MethodsBad phenomenon 1：Genetic errors含义：学生网络和教师网络都得到相同错误的预测结果，当教师网络预测错时，学生网络很难自身纠正这个错误的知识，此时产生genetic error。Method 1：knowledge
2020-05-10 21:23:04
574
原创 FET-GAN: Font and Effect Transfer via K-shot Adaptive Instance Normalization论文笔记
论文地址：https://www.aaai.org/Papers/AAAI/2020GB/AAAI-LiW.3470.pdfgithub地址：https://liweileev.github.io/FET-GAN/Motivation本文提出针对few-shot的自适应实例归一化的字体风格迁移。即要解决的问题为在只有少量新的字体样本的情况下如何将现有风格的字体转换为新的字体样式，并且保持字不...
2020-05-03 23:35:57
1154
3
原创 Learning Deep Features for Discriminative Localization论文笔记
论文地址：https://arxiv.org/abs/1512.04150github地址：http://cnnlocalization.csail.mit.edu本文提出了一种研究网络可解释性的方式，用global average pooling的方式得到网络的注意力机制。Motivation过去global average pooling (GAP)通常被用于正则化训练卷积神经网络，而...
2020-04-26 23:19:19
295
原创 Generalizing from a Few Examples: A Survey on Few-Shot Learning论文笔记
论文地址：https://arxiv.org/pdf/1904.05046.pdfgithub地址：无Motivation尽管AI在具有充足数据的应用中表现很好，但是缺乏对有限样本的学习能力。为了解决这类问题，提出了小样本学习FSL（Few-Shot Learning， FSL）。这是一篇关于小样本学习的综述。Outlines小样本学习的定义FSL是机器学习的一类问题，其中经验EEE仅...
2020-04-20 00:02:20
1393
原创 KDGAN: Knowledge distillation with generative adversarial networks论文笔记
论文地址：http://papers.nips.cc/paper/7358-kdgan-knowledge-distillation-with-generative-adversarial-networks.pdfgithub地址：https://github.com/xiaojiew1/KDGAN/Motivation在训练轻量级分类器时，知识蒸馏虽只需少量样本和训练次数就能收敛，但难以从...
2020-04-12 22:25:16
981
原创 FitNets: Hints for thin deep nets论文笔记
论文地址：https://arxiv.org/abs/1412.6550github地址：https://github.com/adri-romsor/FitNets这篇文章提出一种设置初始参数的算法，目前很多网络的训练需要使用预训练网络参数。对于一个thin但deeper的网络的训练，作者提出知识蒸馏的方式将另一个大网络的中间层输出蒸馏到该网络中作为预训练参数初始化网络。Motivatio...
2020-04-05 21:58:07
2181
原创 Approximated Oracle Filter Pruning for Destructive CNN Width Optimization论文笔记
论文地址：https://arxiv.org/abs/1905.04748v1github地址：https://github.com/ShawnDing1994/AOFPMotivation这篇文章的提出的剪枝方法是基于最朴素的也是直接的思想，即filter的重要程度取决于其引起的loss的变化程度，loss变得越小，则filter越不重要，这就是oracle。但是如果对每个filter的重...
2020-03-29 23:32:32
568
原创 Leveraging Filter Correlations for Deep Model Compression论文笔记
论文地址：http://arxiv.org/abs/1811.10559github地址：无本文于18年发表，提出了基于filter相关性的模型压缩方法。其特点是在建立相关性系数后对相关性强的filter进一步增强相关性，从而降低了filter剪枝后的损失。Motivation以往的基于重要性指标的剪枝方法没有充分考虑filter之间的冗余，仅考虑filter的重要程度，因此存在重要但冗余...
2020-03-22 20:31:39
297
原创 Towards Optimal Structured CNN Pruning via Generative Adversarial Learning论文笔记
论文地址： https://arxiv.org/abs/1903.09291github地址：https://github.com/ShaohuiLin/GAL本文提出基于生成对抗的剪枝策略，这与我目前的方法有些相似。Motivation目前的结构剪枝方法存在一些不足：相对耗时的多阶段优化过程，须反复迭代地剪枝和微调一般剪枝均为硬剪枝，采用hard pruning mask，无法灵活...
2020-03-15 22:55:35
1375
原创 HRank: Filter Pruning using High-Rank Feature Map论文笔记
HRank: Filter Pruning using High-Rank Feature Map论文笔记论文地址：http://arxiv.org/abs/2002.10179github地址：https://github.com/lmbxmu/HRank本篇文章来自厦门大学媒体分析与计算实验室，这篇文章首先提出了一种新的剪枝分类方式，根据剪枝过程是否改变training loss分为pr...
2020-03-07 13:13:02
2884
3
原创 Feature-map-level Online Adversarial Knowledge Distillation论文笔记
Feature-map-level Online Adversarial Knowledge Distillation论文笔记论文地址：https://arxiv.org/abs/2002.01775v1github地址：未公布MotivationFeature maps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的online Knowledge Distillation只利...
2020-03-01 21:16:12
1245
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人