落了一地秋的博客

Variational Information Distillation主要贡献：VIDAlgorithm formulation代码(重点在这,方便理解)提出了一个最大化师生网络互信息作为知识转移的信息论框架。主要贡献：我们提出了变分信息提取，这是一种基于变分信息最大化技术，通过最大化两个网络之间的互信息实现的原则性知识转移框架。我们证明了VID概括了几种现有的知识转移方法。此外，在各种知识转移实验中，我们的框架实现在经验上优于最先进的知识转移方法，包括相同数据集或不同数据集上（异构）DNN之间

Similarity-Preserving Knowledge DistillationAbstract1. IntroductionAbstract在训练网络的过程中，语义相似的输入倾向于在引发相似的激活模式。保持相似性的知识提取指导学生网络的训练，使在教师网络中产生相似（不同）激活的输入指导学生网络中产生相似（不同）激活。与以前的提取方法不同，学生不需要模仿教师的表示空间，而是要在自己的表示空间中保留成对的相似性。1. Introduction...

Probabilistic Knowledge Transfer for Deep Representation LearningAbstract1. Introduction后续存在问题：本文提出的方法：优点：贡献2 Related Work3 Probabilistic Knowledge Transfer4 Experimental EvaluationAbstract1.蒸馏的知识：学习表示和label的互信息量 （mutual information between learned repre

奇异值分解（SVD）

Self-supervised Knowledge Distillation using Singular Value Decomposition----阅读笔记AbstractIntroduction2 Related Works2.1 Knowledge Distillation2.2 SVD and RBF2.3 Training Mechanism3 Method3.1 Proposed Distillation ModuleTruncated SVDAbstract提出了一种新的

Like What Y ou Like: Knowledge Distill via Neuron Selectivity Transfer------论文阅读笔记写在前面Abstract1. Introduction2. Related Works3. Background3.1. Notations3.2. Maximum Mean Discrepancy (最大平均偏差MMD)可视化结果4. Neuron Selectivity Transfer4.1. MotivationWhat is wrong

A Gift from Knowledge Distillation:Fast Optimization, Network Minimization and Transfer Learning（2017 CVPR）Abstract1. Introduction贡献2. Related Work3. Method3.1. Proposed Distilled Knowledge3.2. Mathematical Expression of the Distilled Knowledge3.3. Loss f

@[TOC](Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD))Abstract我们表明，将传统的知识蒸馏应用到检测模型中可以获得较小的增益。针对检测模型中知识提取的挑战，提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是，探测器更关心局部近目标区域。因此，近目标锚位置上的特征响应的差异揭示了教师模型倾向于如何概括的重要信息。我们设计了一种新的机制来估计这些位置，并让学生模型在

1、 Α α alpha a:lf 阿尔法2 、Β β beta bet 贝塔3、 Γ γ gamma ga:m 伽马4 、Δ δ delta delt 德尔塔5 、Ε ε epsilon ep`silon 伊普西龙6、 Ζ ζ zeta zat 截塔7、 Η η eta eit 艾塔8、 Θ θ thet θit 西塔9、 Ι ι iot aiot 约塔10 、Κ κ kappa kap 卡帕11 、∧

PAYING MORE ATTENTION TO ATTENTION:IMPROVING THE PERFORMANCE OF CONVOLUTIONALNEURAL NETWORKS VIA ATTENTION TRANSFERPaper and CodeAbstract1 Introduction2 RELATED WORK3 ATTENTION TRANSFER3.1 ACTIVATION-BASED ATTENTION TRANSFER三种空间注意力映射函数的差异根据教师和学生的深度，可以考虑以

Learning Lightweight Lane Detection CNNs by Self Attention Distillation[2019/8 ICCV]----阅读笔记AbstractIntroduction问题的提出？解决方案？SAD的解决方案的提出贡献点Related Work（略过）Lane detection（略过）Knowledge and attention distillation（略过）Methodology3.0 Lane detection is commonly for

IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORSABSTRACTRELATED WORKComparison between the proposed attention-guided distillation and other methods.METHODOLOGYATTENTION-GUIDED DISTILLATION论文链接BL

知识蒸馏knowledge distillation？what is knowledge distillation？how to knowledge distillation？KD的提出模仿标签单纯的模仿有思考的模仿考虑软标签损失和硬标签损失what is soft label(soft target) and hard label(hard target)？temperature？dark knowledge？添加了学生网络预测结果和软标签前身(未经历softmax)预测结果的差异损失模仿隐含特征(Hin

知识蒸馏----Knowledge_DistillationSoftmax, log_softmax, NLLLoss and CrossEntropyWhat is SofmaxWhat is log_softmaxWhat is NLLLoss？在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss总结：Softmax, log_softmax, NLLLoss and CrossEntropy1.Softmax:2.log_softmax3.NLLLoss4.在分