- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 知识蒸馏问题总结
一、模型蒸馏原理一般较深的复杂的模型往往会有较好的结果(例如Bert预训练模型),但是有时候为了控制时间及硬件成本,我们不得不选择较小的模型,那如何让小的模型逼近复杂的模型,则是通过模型蒸馏的方式实现。通俗的讲,就是学生模型产生一个output1和loss1,teacher模型产生一个output2,取output1和output2的KL散度loss2(度量两个output的差)做为loss项之一。 Loss=loss1+loss2二、代码实现参考了下https:/...
2021-08-12 15:30:17
2054
3
转载 【NLP学习笔记1】BN、LN和WN区别与实现
一、BN(Batch Nomalization,批标准化)1、为什么要做BN个人觉得这篇文章讲的很好https://zhuanlan.zhihu.com/p/24810318一般来说,如果模型的输入特征不相关且满足标准正态分布时,模型的表现一般较好。但是当每层数据在经过激活函数后,数据值容易趋向于激活函数的饱和值,那么当经过多层的激活函数后,数据将趋于极点,从而丧失了数据原本的分布信息,这时候模型的表现将下降。为了充分利用数据以及激活函数的的分布信息,我们在每一层后面都会做一个BN,
2021-08-04 17:10:12
1214
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人