LD:Localization Distillation for Dense Object Detection
设z是由定位头预测的边e的所有可能位置的n个logits(logtis可以看作神经网络输出的未经过归一化的概率),分别由教师和学生的zT和zS表示。使用广义SoftMax函数S(·,τ)=SoftMax(·/τ)将zT和zS转换成概率分布pT和pS。通过对两个概率pT,pS∈Rn的相似度进行局部精馏,得到了两个概率pT,pS∈Rn的相似度:
原创
2023-08-21 16:31:20 ·
228 阅读 ·
1 评论