手算交叉熵
1. 单个样本
- 假设10个
classes
, 分类器输出
[-0.7784, 2.0167, 0.2122, -0.3912, -0.2544, 1.2412, -0.0328, 0.4695, 0.2765, -0.4638]
并且真实标签为 5 5 5, 其对应的onehot
是
[0,0,0,0,0,1,0,0,0,0]
我们先给他softmax
一下
[0.0246, 0.4032, 0.0663, 0.0363, 0.0416, 0.1857, 0.0519, 0.0858, 0.0708, 0.0337]
然后计算一下交叉熵
H