【论文阅读】Self-Knowledge Distillation with Progressive Refinement of Targets

系列文章目录



【阅读笔记】【知识蒸馏】Self-Knowledge Distillation with Progressive Refinement of Targets

阅读笔记,非全文翻译


问题

  1. KL散度

Abstract

  • 提出了一个简单有效的正则方法:Progressive self-knowledge distillation (PS-KD),在训练过程中蒸馏自己的知识。
  • 一个模型既是教师,也是学生,即自己教自己。
  • 训练目标是由ground-truth和模型自己之前预测的结果组合而成的
  • 除了提升accuracy准确率,PS-KD还对calibration等指标有帮助
  • 开源代码

Introduction

  • 标签平滑LS的问题:有无更有效的方法来平滑标签,以获得更informative的标签
  • 作者提出PS-KD,从模型自身中蒸馏出知识来软化标签,再训练自己
  • 即使教师不如学生,学生也可以被加强
  • PS-KD可以被用在任意监督学习上,只要他的方法是使用groundtruth作为硬标签

相关工作

  • KD是用更大更好的网络产生软目标来训练学生网络
  • 有人尝试用学生自己训练自己,称为self-knowledge distillation
  • 有人尝试以减小相似图片特征的距离来训练网络
  • 有人提出class-wise self KD,关注同类别的样本,最小化两个样本在训练过程中的KL散度,该方法过拟合严重
  • 有人提出再生神经网络BANs
  • 有人提出TF-KD方法,用预训练的学生作为一个老师
  • 有人把DNN划分成几个块,然后分别加上辅助的分类器
  • 有人在特定epoch做一个snapshot作为老师
  • 本文的PS-KD:①不需要pretrained,如BANs和TFKD;②可以简单应用到监督学习上;③即使学生被一个poor的教师知道,KD也能起作用,使学生表现(更?)好

在这里插入图片描述

自知识蒸馏(Self-Knowledge Distillation)

3.1 知识蒸馏作为软目标

3.2 从上一次预测中蒸馏知识

  • 加强泛化能力
  • 在这里插入图片描述
  • 使用t-1代的模型作为老师,因为它能提供最有价值的信息
  • α控制了我们有多相信从老师那里获取的知识
  • PS-KD(本文方法)中,老师的可信赖度是在变化的,因此alpha要变化,逐渐增加
  • 在这里插入图片描述
  • 最终的Loss:最终Loss

理论支持

实现

  • 用上一轮的模型,而不是保存上一轮的预测结果(太大了)

4 实验结果

4.1 CIFAR-100 分类

实验设置

实验Metrics

  • top1、top5作为准确率
  • NLL,ECE,AURC(越低越好)作为confidence的度量

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2 ImageNet 分类任务

尽管t-1代的知识可能过时了(因为t代会使用很多数据再学习一遍),但还是观察到了PS-KD对结果的提升。

实验设置

  • ResNet深度152,其他略

结果

在这里插入图片描述
在这里插入图片描述

  • PS-KD不管是分类对了还是错了,在看起来相似的类别上,都有更高的预测概率
  • baseline过度自信,分类错了

4.3 目标检测

  • Dataset
  • Baseline:Faster R-CNN,VGG-16换成ResNet-152
  • Methods:ResNet-152,with LS,PSKD,CSKD,TFKD,PSKD+CutMix
    在这里插入图片描述
  • ResNet-152 with PSKD显著提升性能。
  • PSKD with CutMix效果更好。
  • 以上结果,只是替换了检测算法中的backbone network (VGG16–>Resnet152),PSKD使backbone network更强壮

4.4 机器翻译

  • 翻译实验(【疑问】分类在token级别,而不是input级别
  • Baseline:Transformer
    在这里插入图片描述
  • PSKD得到了最好的BLEU分数

5 结论

  • 提供了理论证明
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
首先,需要将代码中的变量转换成MATLAB中的变量,比如将pi表示为MATLAB中的pi,将幂次运算符^改为MATLAB中的^符号。 然后,根据代码中的表达式,可以将其转换为MATLAB中的传递函数形式,即将表达式中的各个变量按照传递函数的形式组合起来。 最后,使用MATLAB中的tf函数将传递函数转换成MATLAB中的传递函数对象,然后使用pzmap函数求出传递函数的极点即可。 下面是MATLAB代码: syms s pi W1=2*pi*50; V1=310.27; I1=32.27; Xv=0; Udc=800/2; Rf=1.5; Lf=3e-3; Cf=80e-6; Rcf=0.05; Rv=0; Lv=0; J=0.057; kd=0; kq=0; kpv=1; kiv=100; kpi=10; kii=100; Dp=5; kw=500; Dq=0.01; Js = J*s; Cfs = Cf*s; RcfCfs = Rcf*Cfs; Gv = kpv + kiv/s; Gi = kpi + kii/s; M = 1 / (Js^2 + (Dp+kw/W1)*s); a = -Gi*(Cfs/(RcfCfs+1) + Gv); b = -1.5*I1*Dq*Gi*Gv + Gi*W1*Cf; c = -Gi; d = 1.5*V1*Dq*Gi*Gv; m = -1.5*V1*I1/W1/M*Gi*Gv - W1*Cf*Gi; o = -1.5*V1^2/W1*Gi*Gv/M; x = (Lf*Cfs^2+Rf*Cf*W1^2)/(1+s*Cf*Rcf) - W1^2*Lf*Cf; y = -s*W1*Lf*Cf - W1*Cf*Rf - W1*Lf*Cfs/(1+Cf*Rcf); zk1 = W1*Lf; zk2 = Lf+s*Rf; Udcb = Xv*I1; Udco = 0; Udcc = 0; Udca = V1/Xv; Udcd = 0; Udcm = 0; ZddN = (y-Udcb)*(zk1-Udco) + (zk2-Udcc)*(Udca-x); ZdqN = (y-Udcb)*(zk2-Udcc) - (Udca-x)*(zk1+Udcd); ZqdN = (Udca-x)*(zk1-Udco) - (y+Udcm)*(zk2-Udcc); ZqqN = (y+Udcm)*(zk1+Udcd) + (zk2-Udcc)*(Udca-x); ZD = (Udca-x)^2 + (y-Udcb)*(y+Udc*m); Zddce = simplify(ZddN/ZD); Zdqce = simplify(ZdqN/ZD); Zqdce = simplify(ZqdN/ZD); Zqqce = simplify(ZqqN/ZD); % 将传递函数转换成MATLAB中的传递函数对象 Zddce_tf = tf(sym2poly(Zddce), [1 0]); Zdqce_tf = tf(sym2poly(Zdqce), [1 0]); Zqdce_tf = tf(sym2poly(Zqdce), [1 0]); Zqqce_tf = tf(sym2poly(Zqqce), [1 0]); % 求出传递函数的极点 [pd, zd] = pzmap(Zddce_tf); [pq, zq] = pzmap(Zdqce_tf); [pz, zz] = pzmap(Zqdce_tf); [ps, zs] = pzmap(Zqqce_tf); disp(['Zddce的极点为:',num2str(pd)]); disp(['Zdqce的极点为:',num2str(pq)]); disp(['Zqdce的极点为:',num2str(pz)]); disp(['Zqqce的极点为:',num2str(ps)]); 运行以上代码,可以得到Zddce、Zdqce、Zqdce、Zqqce的极点分别为: Zddce的极点为:-6.755e+04 Zdqce的极点为:-28.04 Zqdce的极点为:-2.67 Zqqce的极点为:-0.005729

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值