BIT可达鸭
北京理工大学计算机科学与技术专业直博,研究方向为 3D 视觉、零样本学习等,获得百度飞桨开发者技术专家、百度飞桨深度学习开发者峰会开源新星奖、小米奖学金等,个人主页:https://sharpiless.github.io/
展开
-
2021 目标检测知识蒸馏 SOTA:End-to-End Semi-Supervised Object Detection with Soft Teacher
End-to-End Semi-Supervised Object Detection with Soft Teacher论文地址:代码地址:主要工作:具体实现:End-to-End Pseudo-Labeling Framework:Soft Teacher:Box Jittering:实验结果:消融实验:论文地址:https://arxiv.org/abs/2106.09018代码地址:https://github.com/microsoft/SoftTeacher主要工作:当前的半监督目标原创 2021-10-23 10:18:04 · 2361 阅读 · 1 评论 -
【零样本知识蒸馏】(十一)ICASSP 2021:Robustness and Diversity Seeking Data-Free Knowledge Distillation
为了解决 DAF L的问题,这篇文章提出了一种新的鲁棒性和多样性的生成器损失函数,因为上述问题似于 GAN 中的模式崩溃问题,它可以通过添加一个模式寻求正则化器来改善原创 2021-09-07 14:58:32 · 518 阅读 · 0 评论 -
【零样本知识蒸馏】(十)CVPR 2021:Large-Scale Generative Data-Free Distillation
【零样本知识蒸馏】(十)CVPR 2021:Large-Scale Generative Data-Free Distillation 本文提出了一种利用训练教师网络的内在归一化层统计量来训练生成图像模型,这使我们能够在不训练数据的情况下构建一个生成器集合,这些数据可以有效地生成后续蒸馏的替代输入原创 2021-09-05 14:42:41 · 542 阅读 · 0 评论 -
【零样本知识蒸馏】(九)ICCV 2021:Feature Refinement for Generalized Zero-Shot Learning
【零样本知识蒸馏】(九)ICCV 2021:Feature Refinement for Generalized Zero-Shot Learning论文地址:代码地址:主要问题:主要思路:算法动机:整体框架:基本符号:具体实现:Revisiting f-VAEGAN:Feature Refinement:实验结果:论文地址:https://arxiv.org/abs/2107.13807代码地址:https://github.com/shiming-chen/FREE主要问题:广义零镜头学习(原创 2021-08-31 20:28:17 · 880 阅读 · 0 评论 -
【零样本知识蒸馏】(八)CVPR 2020:Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion
【零样本知识蒸馏】(七)CVPR 2020:Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion论文地址:代码地址:主要思路:基本符号:知识蒸馏:DeepDream:具体实现:DI:ADI:实验结果:论文地址:https://arxiv.org/abs/1912.08795代码地址:https://github.com/NVlabs/DeepInversion主要思路:这篇文章介绍了深度倒置(DeepInversi原创 2021-08-30 10:19:48 · 499 阅读 · 0 评论 -
【零样本知识蒸馏】(七)IJCAI 2021:Contrastive Model Inversion for Data-Free Knowledge Distillation
这篇文章提出了对比模型反转(Contrastive Model Inversion),其中数据多样性被明确地建模为一个可优化的目标,以缓解模式崩溃的问题实验表明在相同数据量的约束下,较高的数据多样性通常表明有更强的实例辨别能力为此作者在CMI中引入了一个对比性的学习目标,它鼓励将合成的实例与前几批中已经合成的实例区分开来原创 2021-08-27 20:06:19 · 430 阅读 · 0 评论 -
【零样本知识蒸馏】(六)NeutIPS 2019:Zero-shot knowledge transfer via adversarial belief matching
1. 提出了一种新的对抗算法,不依赖任何数据或元数据,来将教师模型的知识迁移到学生模型;2. 在两个共同的数据集上展示其有效性;3. 定义了基于信念匹配的两个网络附近的决策边界,并证明我们的零样本训练的学生模型密切匹配教师模型;原创 2021-08-25 11:08:41 · 546 阅读 · 0 评论 -
【零样本知识蒸馏】(五)ICML 2019:Zero-Shot Knowledge Distillation in Deep Networks
在本文中,作者提出了一种新的无数据框架来进行知识蒸馏,即不使用任何数据样本(无论是来自目标数据集还是不同的传输集)来执行知识传输,并将该方法命名为“零样本知识蒸馏”(ZSKD)在对目标数据没有先验知识的情况下,作者从教师模型中进行伪数据合成,该模型作为传输集来执行精馏,即从教师的模型参数中获得了关于类相似性形式的底层数据分布的有用先验信息,并通过将教师模型的输出空间建模为狄利克雷分布,在生成数据的过程中成功地利用了这个先验原创 2021-08-25 09:46:08 · 581 阅读 · 0 评论 -
【对抗学习】(一)NeurIPS 2020:Robust Pre-Training by Adversarial Contrastive Learning
【对抗学习】(一)NeurIPS 2020:Robust Pre-Training by Adversarial Contrastive Learning论文地址:代码地址:主要问题:基本符号:对抗训练:无监督的对抗性训练:对比预训练:具体实现:基本框架:有监督微调和半监督训练:实验结果:论文地址:https://arxiv.org/abs/2010.13337代码地址:https://github.com/VITA-Group/Adversarial-Contrastive-Learning主要原创 2021-08-24 12:19:00 · 482 阅读 · 0 评论 -
【样本间关系知识蒸馏】CVPR 2019:Correlation Congruence for Knowledge Distillation
【样本间关系知识蒸馏】CVPR 2019:Correlation Congruence for Knowledge Distillation论文地址:代码地址:主要问题:主要思路:具体实现:基本符号:基于关系的蒸馏:Distance-wise distillation loss:Angle-wise distillation loss:实验结果:论文地址:https://arxiv.org/abs/1904.05068代码地址:https://github.com/lenscloth/RKD/主要原创 2021-08-23 09:37:49 · 471 阅读 · 0 评论 -
【知识蒸馏+量化】(二)Data-Free Network Quantization with Adversarial Knowledge Distillation
这篇文章提出了无数据的对抗性知识蒸馏,它最小化了来自生成器的任何对抗性样本的教师和(量化)学生输出之间的最大距离;为了生成类似于原始数据的对抗性样本,作者还提出了生成的批归一化数据和教师原始数据的匹配统计数据原创 2021-08-22 08:07:25 · 618 阅读 · 0 评论 -
【知识蒸馏+量化】(一)QKD: Quantization-aware Knowledge Distillation
【蒸馏+量化】QKD: Quantization-aware Knowledge Distillation论文地址:主要问题:主要思路:具体实现:基本符号:Weight Quantizer:Activation Quantizer:量化感知知识蒸馏:自学阶段:协同学习:辅导学习:实验结果:论文地址:https://arxiv.org/abs/1911.12491主要问题:量化和知识蒸馏方法被广泛用于减少深度神经网络的内存和功耗,特别是对于资源受限的边缘设备,虽然它们的组合很有希望满足这些要求,但它可原创 2021-08-20 23:32:44 · 887 阅读 · 0 评论 -
【蒸馏+剪枝】(二)Neural Network Pruning with Residual-Connections and Limited-Data
为了裁剪残差连接之外的通道,作者对同一阶段的所有块都应该同时修剪,并提出了一个基于 KL 散度的标准来评估这些滤波器的重要性,从而裁剪残余连接件内外的通道都,并形成一个钱包形状的结构为了解决由于训练数据不足而导致的问题,作者建议将知识蒸馏和混合 Mixup 结合在一起,并通过图像变换来扩大训练数据集作者还提出了一种新的方法来校正教师模型 logits 中的噪声原创 2021-08-20 22:57:01 · 559 阅读 · 0 评论 -
【蒸馏+剪枝】(一)Cascaded channel pruning using hierarchical self-distillation
本文提出了一种基于教师模型、助教模型和学生模型的层次知识蒸馏的过滤级剪枝方法,助教模型与目标学生共享相同的架构和权重。作者建议使用来自相应教师模型的梯度信息独立地修剪每个模型,通过考虑每个师生模型对的相对大小,该公式提供了知识蒸馏的能力差距和滤波器显著性更新的偏差之间的自然权衡原创 2021-08-19 23:39:35 · 614 阅读 · 0 评论 -
【零样本知识蒸馏】(四)Zero-Shot Knowledge Distillation Using Label-Free Adversarial Perturbation
本文提出了一种新的利用无标签对抗性扰动的 C-ZSKD 算法,即利用概率分布的卷积和二阶泰勒阶数近似,推导出了梯度式平方范数的约束条件,该约束条件增加了敌对样本分布的方差,使学生模型在没有标记数据的情况下更准确地学习教师模型的决策边界原创 2021-08-19 18:19:25 · 379 阅读 · 0 评论 -
【零样本知识蒸馏】(二)Zero-Shot Knowledge Distillation from a Decision-Based Black-Box Mode
作者的关键思路是从 DB3 教师模型中提取训练样本的类概率,作者声称,一个经过良好训练的模型的决策边界在最大程度上区分了不同类别的训练样本,因此从样本到目标决策边界(某类样本的边界)的距离可以作为样本鲁棒性的表示,这决定了特定类分配给样本的置信度原创 2021-08-18 22:29:07 · 483 阅读 · 0 评论 -
【零样本知识蒸馏】(一)Zero-shot Adversarial Quantization
作者提出了一个零样本对抗性量化(ZAQ)框架,促进了从一个全精度模型到其量化模型有效的差异估计和知识转移,该算法以驱动生成器合成信息和不同的数据实例,以对抗性学习的方式优化量化模型原创 2021-08-18 16:37:51 · 883 阅读 · 0 评论 -
【小样本学习】(三):Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discover
【小样本学习】(三):Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discover论文地址:代码地址:主要问题:主要思路:具体实现:Visual Knowledge Discovery:Textual Knowledge Discovery:Imbalance Control from Data Distribution:Hard Label Supervision and Total Loss:实验结果:论文地址:https://ww原创 2021-08-17 22:15:37 · 342 阅读 · 1 评论 -
【小样本学习】(二):Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection
【小样本知识蒸馏】(二):Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection论文地址:代码地址:主要问题:主要思路:具体实现:基本符号:基本框架:Dense Relation Distillation Module:Context-aware Feature Aggregation:训练策略:实验结果:论文地址:这篇文章中了 CVPR 2021https://arxiv.org原创 2021-08-17 19:33:54 · 1022 阅读 · 1 评论 -
【小样本学习】(一):Self-supervised Knowledge Distillation for Few-shot Learning
本文提出的的 SKD 算法采用两阶段的训练模式,Gen-0 利用自监督来学习更广泛的分类流形,其中学习到的嵌入与旋转(或其他数据转换)是等变的;Gen-1 训练时,我们使用Gen-0模型作为教师模型,并使用原始(非旋转)图像作为锚来保存学习流形,而旋转版本的图像用于减少嵌入空间中的类内距离来学习鲁棒和有区别的特征表示原创 2021-08-17 15:52:16 · 1014 阅读 · 1 评论 -
【论文解读+代码实现】Neural Response Interpretation through the Lens of Critical Pathways
【论文翻译】Neural Response Interpretation through the Lens of Critical Pathways摘要:介绍:相关工作:关键途径的选择:设置和符号:摘要:关键的输入信息是否编码在神经网络中特定的稀疏路径中?在这项工作中,我们讨论了识别这些关键路径的问题,并随后利用它们来解释网络对输入的响应剪枝目标——选择响应与原始网络相同的最小神经元组——之前已经被提出用于识别关键路径,我们证明了从剪枝中得到的稀疏路径并不一定编码关键的输入信息为了确保稀疏路径包括编原创 2021-08-13 11:03:47 · 434 阅读 · 0 评论 -
【CVPR 2020】蒸馏篇(五):Heterogeneous Knowledge Distillation using Information Flow Modeling
这篇文章提出了一种新的KD方法,该方法是通过教师模型的各个层的信息流进行建模,然后训练一个学生模型来模拟这种信息流,以确保学生形成与教师相似的信息路径,并通过训练一个结构跟学生模型类似的辅助模型来解决异构模型的特征匹配问题原创 2021-08-12 15:45:51 · 672 阅读 · 0 评论 -
【CVPR 2020】知识蒸馏+NAS:Block-Wisely Supervised Neural Architecture Search With Knowledge Distillation
这篇论文将NAS的大搜索空间模块化为块,以确保潜在的候选架构得到充分的训练,从而减少了共享参数引起的表示位移,并使得候选参数能够得到正确的评估,并且块式搜索使得我们还可以评估每个块内的所有候选架构,同时作者建议从教师模型中提取神经体系结构(DNA)知识来监督块级体系结构搜索,这显著提高了NAS的有效性原创 2021-08-12 14:27:11 · 455 阅读 · 0 评论 -
【CVPR 2020】蒸馏篇(四):Online Knowledge Distillation via Collaborative Learning
【CVPR 2020】蒸馏篇(四):Online Knowledge Distillation via Collaborative Learning,这篇文章提出了一种新的通过协作学习在线知识蒸馏方法,即具有不同能力的学生网络协同学习,生成高质量的软目标监督,为每个学生提取额外的知识,其中高质量的软目标监督旨在指导具有显著性能差距的学生以较高的泛化能力和较小的方差一致收敛原创 2021-08-12 13:21:46 · 1108 阅读 · 1 评论 -
【CVPR 2020】蒸馏篇(三):Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model
【CVPR 2020】蒸馏篇(三):Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model论文地址:主要问题:主要思路:具体实现:构建候选池:不确定性估计:开始蒸馏:实验结果:论文地址:https://arxiv.org/abs/2003.13960主要问题:这里作者研究了两个主要的挑战:应该尽量减少对教师模型的查询数量,以节省计算成本;用于知识蒸馏的图像数量应该很少;主要思路:这篇文章提出原创 2021-08-12 11:22:39 · 305 阅读 · 0 评论 -
【CVPR 2020】蒸馏篇(二):Few Sample Knowledge Distillation for Efficient Network Compression
Few Sample Knowledge Distillation for Efficient Network Compression,CVPR 2020 小样本知识蒸馏,就是用压缩(剪枝或者张量分解)后的模型作为教师模型来蒸馏,并使用BCD来估计权值原创 2021-08-12 10:25:28 · 473 阅读 · 0 评论 -
【CVPR 2020】蒸馏篇(一):Regularizing Class-wise Predictions via Self-knowledge Distillation
【CVPR 2020】蒸馏篇(一):Regularizing Class-wise Predictions via Self-knowledge Distillation,首次提出自蒸馏框架下考虑样本相似性的方法来进行知识蒸馏原创 2021-08-12 09:36:31 · 770 阅读 · 0 评论 -
【知识蒸馏】2021年最新知识蒸馏综述和论文总结
【知识蒸馏】2021最新知识蒸馏综述和论文总结简介:按照“知识”的定义来分类:按照教师模型来分类:按照“数据”有无来分类:简介:按照“知识”的定义来分类:按照教师模型来分类:按照“数据”有无来分类:...原创 2021-08-11 23:11:20 · 1214 阅读 · 0 评论 -
孪生网络压缩:Combining attention mechanism and knowledge distillation for Siamese network compress
孪生网络压缩:Combining attention mechanism and knowledge distillation for Siamese network compress论文地址:主要问题:主要思路:知识蒸馏:论文地址:http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20201209&flag=1主要问题:目前已有的模型压缩方法都是针对单分支网络设计,而没有考虑双分支孪生网络的特点主要思路:本文提出针对原创 2021-08-11 22:41:48 · 203 阅读 · 0 评论 -
基于Attention的通道知识蒸馏:channel-wise attention for knowledge distillation(论文解读+代码复现)
基于Attention的通道知识蒸馏:channel-wise attention for knowledge distillation论文地址:代码地址:主要思路:具体实现:通道蒸馏:引导的知识蒸馏:衰减的蒸馏损失:实验结果:代码复现:CIFAR100Prepare DatasetTraining论文地址:https://arxiv.org/abs/2006.01683代码地址:https://github.com/zhouzaida/channel-distillation主要思路:本文提出原创 2021-08-11 18:51:58 · 1070 阅读 · 0 评论 -
【CVPR 2021】高效计算的知识蒸馏:Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup
【CVPR 2021】高效计算的知识蒸馏:Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup论文地址:代码地址:主要问题:主要思路:具体实现:KD 的计算成本:不确定性感知混合策略:实验结果:联系作者:我的公众号:论文地址:https://arxiv.org/abs/2012.09413代码地址:https://github.com/xuguodong03/UNIXKD主要问题:与之前关注学生模型准确性原创 2021-08-08 14:47:57 · 531 阅读 · 0 评论 -
【CVPR 2021】自我知识蒸馏:Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
【CVPR 2021】自我知识蒸馏:Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification论文地址:代码地址:主要问题:主要思路:主要贡献:具体实现:基本符号:批处理知识的传播与集成:近似估计:实验结果:联系作者:我的公众号:论文地址:https://arxiv.org/abs/2104.13298代码地址:https://github.com/yxgeee/BAKE主要问题:知识蒸馏通原创 2021-08-08 09:56:13 · 1223 阅读 · 0 评论 -
【AAAI 2021】基于解耦标签的知识蒸馏:Knowledge Refinery: Learning from Decoupled Label
【AAAI 2021】基于解耦标签的知识蒸馏:Knowledge Refinery: Learning from Decoupled Label论文地址:主要问题:主要思路:论文地址:https://ojs.aaai.org/index.php/AAAI/article/view/16888主要问题:目前的知识蒸馏需要预先训练一个额外的教师模型主要思路:这篇提出了一种叫做知识精炼(Knowledge Refinery,简称 KR)的方法,该方法使神经网络能够在没有师生训练策略的情况下动态学习知识原创 2021-08-07 23:39:11 · 742 阅读 · 0 评论 -
【AAAI 2021】跨任务知识蒸馏:Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Mode
【AAAI 2021】跨任务知识蒸馏:Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Mode论文地址:主要问题:主要思路:具体实现:混合正向传播:动态平衡算法:实验结果:联系作者:我的公众号:论文地址:https://cse.buffalo.edu/~jsyuan/papers/2021/aaai21_song.pdf主要问题:当用深度学习模型做新的视觉任务时,一种常见的做法是从预训练模型开始微调,但是新任务可原创 2021-08-07 20:17:05 · 740 阅读 · 0 评论 -
【AAAI 2021】自监督目标检测知识蒸馏:Distilling Localization for Self-Supervised Representation Learning
【AAAI 2021】自监督目标检测知识蒸馏:Distilling Localization for Self-Supervised Representation Learning论文地址:代码地址:主要问题:论文地址:https://arxiv.org/abs/2004.06638代码地址:https://github.com/nanxuanzhao/DiLo主要问题:...原创 2021-08-07 19:19:29 · 651 阅读 · 0 评论 -
【AAAI 2021】多出口架构的知识蒸馏:Harmonized Dense Knowledge Distillation Training for Multi-Exit Architectures
【AAAI 2021】多出口架构的知识蒸馏:Harmonized Dense Knowledge Distillation Training for Multi-Exit Architectures论文地址:主要问题:主要思路:多出口网络:具体实现:基本算法架构:双层优化策略:平衡验证模块:实验结果:联系作者:我的公众号:论文地址:https://ojs.aaai.org/index.php/AAAI/article/view/17225主要问题:Multi-Exit 架构在特征层的不同深度引入一系原创 2021-08-07 17:17:26 · 511 阅读 · 0 评论 -
【AAAI 2021】在线知识蒸馏中的对等协同学习:Peer Collaborative Learning for Online Knowledge Distillation
【AAAI 2021】在线知识蒸馏中的协同学习:Peer Collaborative Learning for Online Knowledge Distillation论文地址:主要问题:主要思路:论文地址:https://arxiv.org/abs/2006.04147主要问题:传统的知识蒸馏采用两阶段的训练策略,很大程度上依赖于预先训练的教师最近的在线知识蒸馏通过协作学习、相互学习和在线集成减轻了这种限制,而且只需要进行一次端到端训练然而,协作学习和相互学习未能构建一个在线的具有高容量知识原创 2021-08-07 16:11:39 · 1085 阅读 · 0 评论 -
【AAAI 2021】零样本知识蒸馏:Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
【AAAI 2021】零样本知识蒸馏:Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis论文地址:主要问题:主要思路:主要贡献:具体实现:基本符号:具有多元正态分布的特征空间建模:论文地址:https://arxiv.org/abs/2104.04868主要问题:实现无数据 KD 的关键思想是生成信息丰富的伪样本,从而可以近似原始训练样本的分布主要思路:这篇文章提出了一种新的无数据 KD 方法,即利原创 2021-08-07 14:06:37 · 1269 阅读 · 0 评论 -
【AAAI 2021】基于块移植的小样本知识蒸馏:Progressive Network Grafting for Few-Shot Knowledge Distillation
【AAAI 2021】小样本知识蒸馏:Progressive Network Grafting for Few-Shot Knowledge Distillation论文地址:代码地址:主要问题:主要思路:具体实现:基本符号:块移植策略:渐进式网络移植:优化方案:算法伪代码:实验结果:联系作者:我的公众号:论文地址:https://arxiv.org/abs/2012.04915代码地址:https://github.com/zju-vipa/NetGraft主要问题:大多数现有的知识蒸馏方法都原创 2021-08-07 10:34:38 · 680 阅读 · 0 评论 -
【AAAI 2021】跨层知识蒸馏:Cross-Layer Distillation with Semantic Calibration
【AAAI 2021】跨层知识蒸馏:Cross-Layer Distillation with Semantic Calibration论文地址:代码地址:主要问题:主要思路:具体实现:基本符号:语义校准公式:实验结果:联系作者:我的公众号:论文地址:https://arxiv.org/abs/2012.03236代码地址:https://github.com/DefangChen/SemCKD主要问题:目前的知识蒸馏算法中,中间层的语义在不同的网络中可能会有所不同,而层的人工关联可能会导致某些原创 2021-08-06 20:29:17 · 1433 阅读 · 0 评论