PEARL: 一个轻量的计算短文本相似度的表示模型

 | 💻 [code] | 💾 [data] | 🤗 PEARL-small | 🤗 PEARL-base | 论文

如何计算短文本相似度是一个重要的任务，它发生在各种场景中：

1. 字符串匹配（string matching）。我们计算两个字符串是否表达同一个含义，比如“university” 和 “universities” 尽管看起来不同，但它们有着相同的语义。我们希望一个模型能够捕捉这种有形态变化的相似性。
2. 模糊匹配 （Fuzzy Join）。这是数据科学中经常遇到的困难，当我们在join不同的表时候，列和列之间的名词并不是完全匹配的。比如在一个关于工资的表中有一个列叫avg_salary，而在另一个表中这个列叫做average_wage，这就使得我们很难匹配到相关的列。这里我们需要一个模型能够捕捉这种语义相似性。
3. 实体检索 （Entity Retrieval）。这个任务目的是从一个实体候选集 （比如知识库）中找出最匹配的查询实体。比如输入的查询是“The New York Times”，候选集中有三个实体名称["NYTimes",