关系抽取数据集评价方法scorer.py解读

真实关系的列表存在key中，预测关系的列表存在prediction中，从dev数据集中获取样本，以tacred为例，包含两万多条记录。以真实label存储，不是one-hot。

在该评价方法中，也有TP，FP，TN，FN的概念。回顾一下这四个变量代表什么意思：

• TP：将正类预测为正类的样本个数，预测对了关系的样本个数
• FN：将正类预测为负类的样本个数，实际有关系但没预测对
• FP：将负类预测为正类的样本个数，预测有关系但没预测对
• TN：将负类预测为负类的样本个数，预测没关系预测对了，不统计
  positive就代表了实体之间存在关系的样本，negative则代表不存在关系的样本。

def score(key, prediction, verbose=False):
    correct_by_relation = Counter()
    guessed_by_relation = Counter()
    gold_by_relation    = Counter()

    # Loop over the data to compute a score
    for row in range(len(key)):
        go