华为在CIKM20上发表的论文展示了如何使用多教师网络知识蒸馏来提升点击率预估效果，降低模型复杂度。知识蒸馏包括单教师和多教师两种方式，通过引导学生网络学习教师网络的知识，尤其是中间层表示，从而在保持融合效果的同时实现模型轻量化。实验表明，多教师网络知识蒸馏能有效提高预测性能，且学生网络的泛化能力可能优于教师网络。
本文是CIKM20上华为发表的一篇关于使用知识蒸馏来提升点击率预估效果的论文，论文标题是《Ensembled CTR Prediction via Knowledge Distillation》，下载地址为：https://dl.acm.org/doi/pdf/10.1145/3340531.3412704
1、背景
当前对于点击率预估的研究大致集中在两方面，一种是尝试更为复杂的网络结构来更好的捕捉特征之间的交叉信息以及用户的动态行为信息，如引入卷积神经网络、循环神经网络、注意力机制和图神经网络等；另一种趋势是沿用Wide & Deep的思路，尝试将多个子模块进行融合，如DeepFM、DCN、XDeepFM、AutoInt等。尽管这些研究带来了点击率预估效果的提升，但是随着模型结构的复杂，在实际工业界使用这些模型耗时会越来越高，往往难以真正在线上进行部署。
那么如何既能保持多模型融合的效果，同时能够使得模型更加轻量化呢？知识蒸馏的方式是一种不错的选择。
2、多教师网络知识蒸馏
2.1 单教师网络知识蒸馏
首先来看下单教师网络知识蒸馏的框架：
可以看到，同样的特征分别输入到teacher网络和student网络中，得到各自的输出，那么teacher网络和student网络的损失分别为：
teacher网络的损失只有交叉熵损失，而student网络的损失除包含交叉熵损失外，还包括一项蒸馏损失。蒸馏损失通常有两种计算方式：soft label和hint regression。
soft label
soft label的计算公式如下：
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
