label 选择： soft label or hard label？

转载自作者山竹果
https://www.cnblogs.com/shona/p/13408970.html

soft label：软标签，例如：probs 0.3, 0,8, 0,2…

hard label：硬标签，例如：实际label值 0, 1, 2…

label选择

硬标签：使用会比较多一点，用于非是即非的任务上，例如是猫就是猫，是狗就是狗；

软标签：

1. 用于模棱两可的情况；

2. 用于蒸馏，例如，计算teacher模型的参数于student模型参数的loss，用硬标签会过于绝对，不利于student模型更好地学习teacher参数的分布和teacher的决策行为，当然也可以软硬标签都用上，不过在大规模无监督的蒸馏背景下，用soft label更为合适。