国际语义评测大会SemEval-2014 Task 4 任务详解

最近在调研 Aspect Based Sentiment Analysis (ABSA) 方面的论文，非常有必要先搞清楚这个评测任务的游戏规则到底是什么。

首先我们要知道， SemEval-2014 的 Task 4 是对 ABSA 任务进行评测的，其下面又细分了 4 个子任务。

Subtask 1：Aspect term extraction

这个任务是干什么的呢，简单地说就是提取句子中的情感实体或者说情感对象。例如下面这个例子：
I liked the service and the staff, but not the food
可以提取出方面术语是：service、staff、food
The hard disk is very noisy
可以提取出方面术语是：hard disk
注意：
1、有几个方面术语就需要提取几个，返回一个去重后的列表；
2、方面术语（aspect term）一定是在原句子中出现过的。

Subtask 2: Aspect term polarity

这个任务就是在上个任务的基础之上，对已经提供的 term 进行情感极性分类，包括正面、负面、中性和有争议的，其中有争议的是指这个 term 同时具有 正面和负面 两种极性，在测试过程中，一般都会把这种 conflict 的句子 remove 掉，所以在看论文的时候一定要注意其实验数据集的介绍，如果数据集有差异，结果都是会重新跑的。
例子：
I hated their fajitas, but their salads were great → {fajitas: negative, salads: positive}

Subtask 3: Aspect category detection

该任务和前面两个任务就有区别了，本任务是进行 aspect 的类别检测，即预先会定义一组类别的集合，例如 restaurant 数据集中的类别包括{food, service, price, ambience, anecdotes/miscellaneous} 这 5 个类别。然后我们需要做的就是判别出这个句子中包含了哪些类别。例如下面的两个例子：
The restaurant was too expensive → {price}
The restaurant was expensive, but the menu was great → {price, food}

Subtask 4: Aspect category polarity

该任务是在上一个任务的基础上，已经预先确定了句子的 aspect 类别，需要做的工作就是确定 aspect 类别对应的情感极性，例如下面的两个例子：
The restaurant was too expensive → {price: negative}
The restaurant was expensive, but the menu was great → {price: negative, food: positive}

2018 CCF大数据与计算智能大赛（BDCI 2018 ) 中的 汽车行业用户观点主题及情感识别 任务就属于是 Aspect categogy detection 和 Aspect category polarity 的融合体，因为它是要求先对评论的主题（subject）进行分类，然后再指出对应主题下的情感极性。

参考

• SemEval-2014 Task 4 官网
• Pontiki M , Pavlopoulos J . SemEval-2014 Task 4: Aspect Based Sentiment Analysis[J]. Proceedings of International Workshop on Semantic Evaluation at, 2014:27-35.