折页损失(Hinge Loss) 在机器学习中被广泛使用的损失。 L(y) = max(0 , 1 – t⋅y) hinge loss 相对熵(KL 散度) 用于度量两个概率分布之间的差异程度 对于离散型的两个概率分布P和Q: 对于连续型 KL散度的性质: DKL(P∥Q)≥0,即非负性。DKL(P∥Q)≠DKL(Q∥P),即不对称性。P通常为真实数据集,Q为理论值