STS学习笔记

STS：Semantic Textual Similarity

语义-文本相似度（STS）是衡量成对文本片段的基本语义的等价程度。虽然这样的评估对于人类来说是微不足道的，但是构造模拟人类水平性能的算法和计算模型代表了一个困难而深刻的自然语言理解（NLU）问题。

为了促进这一领域的研究并鼓励开发创造性的句子级语义建模新方法，自2012年以来，STS共享任务每年举行一次，作为SemEval/*SEM系列研讨会的一部分。每年的比赛都会汇集众多的参赛队伍，采用不同的方法，并不断改进最先进的方法。

Task Definition

给定两个句子，要求参与系统返回一个从0到5的连续值相似性分数，0表示句子的语义完全独立，5表示语义等价。通过计算机器分配的语义相似度得分和人类判断之间的Pearson相关性来评估性能。

Evaluation Tracks 

STS2016提供核心STS和跨语言STS。前者是一个传统的STS任务，从英语数据源中提取成对的单语句子。跨语言专家评估成对的英语和西班牙语句子。

STS Core, with English sentence pairs on Plagiarism Detection, Q&A Question-Question, Q&A Answer-Answer, Post-Edited Machine Translations and Headlines.

剽窃检测、问题对转化、答案对转化、机器翻译的译后编辑、标题

STS 2016数据下载：Data and Tools < SemEval-