PKD-Bert:基于多层网络的Bert知识蒸馏

来自:NLP从入门到放弃

PKD[1]核心点就是不仅仅从Bert(老师网络)的最后输出层学习知识去做蒸馏,它还另加了一部分,就是从Bert的中间层去学习

简单说,PKD的知识来源有两部分:中间层+最后输出,当然还有Hard labels

它缓解了之前只用最后softmax输出层的蒸馏方式出现的过拟合而导致泛化能力降低的问题。

接下来,我们从PKD模型的两个策略说起:PKD-Last 和 PKD-Skip。

1.PKD-Last and PKD-Skip

PKD的本质是从中间层学习知识,但是这个中间层如何去定义,就各式各样了。

比如说,我完全可以定位我只要奇数层,或者我只要偶数层,或者说我只要最中间的两层,等等,不一而足。

那么作者,主要是使用了这么多想法中的看起来比较合理的两种。

PKD-Last,就是把中间层定义为老师网络的最后k层

这样做是基于老师网络越靠后的层数含有更多更重要的信息。

这样的想法其实和之前的蒸馏想法很类似,也就是只使用softmax层的输出去做蒸馏。但是从感官来看,有种尾大不掉的感觉,不均衡。

另一个策略是 就是PKD-Skip,顾名思义,就是每跳几层学习一层

这么做是基于老师网络比较底层的层也含有一些重要性信息,这些信息不应该被错过。

作者在后面的实验中,证明了,PKD-Skip 效果稍微好一点(slightly better);

作者认为PKD-Skip抓住了老师网络不同层的多样性信息。而PKD-Last抓住的更多相对来说同质化信息,因为集中在了最后几层。

2. PKD

2.1架构图

两种策略的PKD的架构图如下所示,注意观察图,有个细节很容易忽视掉:

PKD_Models

我们注意看这个图,Bert的最后一层(不是那个绿色的输出层)是没有被蒸馏的,这个细节一会会提到

2.2 怎么蒸馏中间层

这个时候,需要解决一个问题:我们怎么蒸馏中间层?

仔细想一下Bert的架构,假设最大长度是128,那么我们每一层Transformer encoder的输出都应该是128个单元,每个单元是768维度。

那么在对中间层进行蒸馏的时候,我们需要针对哪一个单元?是针对所有单元还是其中的部分单元?

首先,我们想一下,正常KD进行蒸馏的时候,我们使用的是[CLS]单元Softmax的输出,进行蒸馏。

我们可以把这个思想借鉴过来,一来,对所有单元进行蒸馏,计算量太大。二来,[CLS] 不严谨的说,可以看到整个句子的信息。

为啥说是不严谨的说呢?因为[CLS]是不能代表整个句子的输出信息,这一点我记得Bert中有提到。

2.3蒸馏层数和学生网络的初始化

接下来,我想说一个很小的细节点,对比着看上面的模型架构图:

Bert(老师网络)的最后一层 (Layer 12 for BERT-Base) 在蒸馏的时候是不予考虑

原因的话,其一可以这么理解,PKD创新点是从中间层学习知识,最后一层不属于中间层。当然这么说有点牵强附会。

作者的解释是最后一层的隐层输出之后连接的就是Softmax层,而Softmax层的输出已经被KD Loss计算在内了。

比如说,K=5,那么对于两种PKD的模式,被学习的中间层分别是:

PKD-Skip:  ;

PKD-Last: 

还有一个细节点需要注意,就是学生网络的初始化方式,直接使用老师网络的前几层去初始化学生网络的参数。

2.4 损失函数

首先需要注意的是中间层的损失,作者使用的是MSE损失。如下:

中间层损失计算

整个模型的损失主要是分为两个部分:KD损失和中间层的损失,如下:

Loss_of_PKD

超参数问题:

3. 实验效果

实验效果可以总结如下:

  1. PKD确实有效,而且Skip模型比Last效果稍微好一点。

  2. PKD模型减少了参数量,加快了推理速度,基本是线性关系,毕竟减少了层数

除了这两点,作者还做了一个实验去验证:如果老师网络更大,PKD模型得到的学生网络会表现更好吗

这个实验我很感兴趣。

直接上结果图:

Larger_Teacher

KD情况下,注意不是PKD模型,看#1 和#2,在老师网络增加的情况下,效果有好有坏。这个和训练数据大小有关。

KD情况下,看#1和#3,在老师网络增加的情况下,学生网络明显变差。

作者分析是因为,压缩比高了,学生网络获取的信息变少了。

也就是大网络和小网络本身效果没有差多少,但是学生网络在老师是大网络的情况下压缩比大,学到的信息就少了。

更有意思的是对比#2和#3,老师是大网络的情况下,学生网络效果差。

这里刚开始没理解,后来仔细看了一下,注意#2 的学生网络是 ,也就是它的初始化是从 来的,占了一半的信息。

好的,写到这里

下载一:中文版!学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套!

后台回复【五件套】
下载二:南大模式识别PPT

后台回复【南大模式识别】

说个正事哈

由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:

(1)点击页面最上方深度学习自然语言处理”,进入公众号主页。

(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。

感谢支持,比心

投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家:

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析


整理不易,还望给个在看!
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值