AllenNLP源码学习——CategoricalAccuracy和BooleanAccuracy

CategoricalAccuracy

构造参数

top_k（取logits值的最大的前k个）
tie_break（如果最大logits值出现多个相同的值，是否可以取平均）
例：输入为[[0.3, 0.5, 0.5, 0.2, 0.1]，label为[[2]]
如果tie_break=True，最终得到的correct（计数）为0.5
如果tie_break=False，最终得到的correct（计数）为1
如果输入为[[0.3, 0.2, 0.5, 0.5, 0.1]，label为[[2]]，tie_break=False，correct（计数）为0，因为torch.max得到的是最后一个0.5。

输入

predictions(batch_size*num_classes)
gold_labels(batch_size)
mask（batch_size， optional）
例：
输入为

gold_labels = torch.tensor([2, 1])
predictions = torch.tensor([[0.1, 0.5, 0.5, 0.1, 0.1], [0.4, 0.2, 0.1, 0, 0.4]])

最终得到accuracy=0.5

mask如果不为空，表示计算完一个batch的correct（如[ [0], [0], [1], [1], [1] ]）与mask相乘，如果mask为[1, 1, 1, 1, 0]，correct被修改为

tensor([[0],
        [0],
        [1],
        [1],
        [0]])

最后对correct进行计数，除以总数。

BooleanAccuracy

输入

predictions(batch_size* num_classes)
gold_labels(batch_size* num_classes)
mask（batch_size* num_classes， optional）
如果mask的一组数据里全部为0，则无论预测是否正确，correct都为0
如果mask的一组数据里至少有一项为1，则最终correct的计数只对mask=1的位置进行。

例：
输入为

predictions = torch.tensor([[0, 1], [2, 2], [3, 5], [0, 5]])
gold_labels = torch.tensor([[0, 0], [2, 2], [3, 5], [0, 5]])

最终得到accuracy=0.75
即预测的若干个结果中，只要有一个和label不相符的，即为错误。

CategoricalAccuracy与BooleanAccuracy的区别：

前者输入为预测logits值（经过了softmax的）；后者输入的是预测得到的索引值