Bert Score-文本相似性评估

Bert Score

Bert Score 是基于BERT模型的一种方法。它通过计算两个句子在BERT模型中的嵌入编码之间的余弦相似度来评估它们的相似度。BERTScore考虑了上下文信息和语义信息，因此能够更准确地衡量句子之间的相似度。

安装

pip install bert-score

使用例子

• 一个句子和一个句子的比较

cand=["I have an apple."]
ref=["I have a pen."]
P, R, F1 = bert_score.score(cand,ref, lang="en", 
									verbose=True,
									model_type='bert-large-uncased') 
#tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

• 一个句子和多个句子的比较

cand=["I have an apple."]
ref=[["I have a pen.","I have a doll"]]
P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
									model_type='bert-large-uncased')
 #tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

• 多个句子和多个句子之间的比较

cand=["I have an apple.","I am Lucky."]
ref=["I have a pen.","I am Lucy."]
P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
								model_type='bert-large-uncased')
 #tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489])

• 这里的model_type用于指定模型，可以点击仓库查看
• 这里的返回值在0-1之间，越接近1说明越相似