![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
XAI
文章平均质量分 70
Rainylt
这个作者很懒,什么都没留下…
展开
-
用知识量解释知识蒸馏
Explaining Knowledge Distillation by Quantifying the Knowledge用上篇文章提到的知识量的方法来解释知识蒸馏,主要是探讨通过知识蒸馏学出来的student network比通过train from scratch学出来的baseline的优点,以下Teacher, Student, Baseline分别用T,S,B代替。先从本文提出的假设之一入手吧(后面会一一论证)假设1:S学到的有效Visual Concept(视觉概念)比B多一、什么.原创 2022-01-05 19:29:36 · 1667 阅读 · 0 评论 -
Towards a Deep and Unified Understanding of Deep Neural Models in NLP
这篇文章比较难,需要较多的概率论和信息论知识,论文中公式推导给的不是特别多,有些过程并没有做推导,因此不是太能理解,不过大概意思是能懂的。论文提出了一种知识量计算方法,通过计算每个输入的知识量,来表征每个输入的重要程度总的想法非常简单,就是对每个输入加一个可学习的扰动,通过Loss函数来使得这个扰动大小能代表对应输入的重要程度这是输出的hidden state:S和输入X的互信息,不过其实这个公式在这里没啥用,作者主要是要引出后面这个条件熵条件熵H(X∣S)H(X|S)H(X∣S),就是知道输出原创 2022-01-04 20:54:11 · 773 阅读 · 0 评论 -
FitNets: Hints for Thin Deep Nets:feature map蒸馏
这篇就比较简单了,就是从中间选一层feature map出来,T和S做个Loss来训S,训好了再用KD再训一遍S这里有个问题,文中用的S和T的宽度不一样(输出feature map的channel不一样),因此第一阶段还需要在S的feature map后加一个卷积层调channel和size。论文里好像就是用的普通的卷积,也没提到padding操作,这样的话就要求N_g>N_h了,也就是S的feature size>T的feature size?二阶段第一阶段训上面的这个featur.原创 2022-01-03 23:38:00 · 1298 阅读 · 2 评论 -
A Gift from Knowledge Distillation:relation蒸馏
使用relation的蒸馏代替传统的feature map或者logits蒸馏如何建模relation?就是feature map的内积比如两个residual block,输出的feature map大小相等,但channel数可能不同,比如F1:(h,w,m),F2:(h,w,n),输出relation:(m,n),其实就是F1的m个channel和F2的n个channel之间的关系。F1的m个channel分别和F2的n个channel相乘,每次会得到一个值,最后就得到了(m,n)的矩阵如原创 2022-01-03 22:57:30 · 1138 阅读 · 0 评论 -
Information Bottleneck信息瓶颈理论
可以理解为一个损失函数信息瓶颈理论把神经网络理解为一个编码器和一个解码器,编码器将输入x编码成Z,解码器将Z解码成输出y而信息瓶颈理论的目标则是RIB(θ)R_{IB}(\theta)RIB(θ)就是信息瓶颈,θ\thetaθ是网络的参数,也是要优化的东西I(Z,Y;θ)I(Z,Y;\theta)I(Z,Y;θ)就是输出Y和中间feature Z的互信息I(Z,X;θ)I(Z,X;\theta)I(Z,X;θ)是输入X和中间feature Z的互信息互信息参考互信息的定义在决策树的C4.5原创 2021-12-23 19:56:53 · 6101 阅读 · 0 评论 -
基于决策树的神经网络规则提取
什么是规则就是IF…THEN…eg.IF age=youth AND student=yes THEN buys_computer=yes决策树->规则参考https://blog.csdn.net/DQ_DM/article/details/38345753如何从决策树中提取规则?对于一个决策树,有多少叶子节点就可以提取多少规则。从根结点到叶子节点自然形成一条规则。决策树生成:ID3和C4.5算法看https://blog.csdn.net/lt1103725556/artic原创 2021-12-21 20:15:16 · 2228 阅读 · 0 评论