1.交叉熵
H(p,q)=−∑p(xi)logq(xi)
用一个二分类模型预测一个物体是猫还是狗的的例子来说:
比如有一个物体,它是狗,对应的真实分布是:0(猫),1狗,然后模型预测,预测出的分布为: 0.3(猫),0.7(狗),那么要衡量这个模型预测的差异(损失)就用交叉熵。
那交叉熵就是衡量模型预测的两个概率分布之间的差异,就是损失;
对应上式中,P(Xi)是目标真实分布,Q(Xi)是预测的分布,目的就是训练模型让其预测分布Q(Xi)无限接近P(Xi)。
参考:
1.交叉熵
H(p,q)=−∑p(xi)logq(xi)
用一个二分类模型预测一个物体是猫还是狗的的例子来说:
比如有一个物体,它是狗,对应的真实分布是:0(猫),1狗,然后模型预测,预测出的分布为: 0.3(猫),0.7(狗),那么要衡量这个模型预测的差异(损失)就用交叉熵。
那交叉熵就是衡量模型预测的两个概率分布之间的差异,就是损失;
对应上式中,P(Xi)是目标真实分布,Q(Xi)是预测的分布,目的就是训练模型让其预测分布Q(Xi)无限接近P(Xi)。
参考: