目录
摘要
通过蒸馏teacher网络的注意力图来提升student网路的性能
引言
将注意力机制和蒸馏结合起来
探索activation-based,
activation-based attention蒸馏要比full activation transfer有效
目录
通过蒸馏teacher网络的注意力图来提升student网路的性能
将注意力机制和蒸馏结合起来
探索activation-based,
activation-based attention蒸馏要比full activation transfer有效