最近在调研 Aspect Based Sentiment Analysis (ABSA) 方面的论文,非常有必要先搞清楚这个评测任务的游戏规则到底是什么。
首先我们要知道, SemEval-2014 的 Task 4 是对 ABSA 任务进行评测的,其下面又细分了 4 个子任务。
Subtask 1:Aspect term extraction
这个任务是干什么的呢,简单地说就是提取句子中的情感实体或者说情感对象。例如下面这个例子:
I liked the service and the staff, but not the food
可以提取出方面术语是:service
、staff
、food
The hard disk is very noisy
可以提取出方面术语是:hard disk
注意:
1、有几个方面术语就需要提取几个,返回一个去重后的列表;
2、方面术语(aspect term)一定是在原句子中出现过的。
Subtask 2: Aspect term polarity
这个任务就是在上个任务的基础之上,对已经提供的 term 进行情感极性分类,包括正面、负面、中性和有争议的,其中有争议的是指这个 term 同时具有 正面和负面 两种极性,在测试过程中,一般都会把这种 conflict 的句子 remove 掉,所以在看论文的时候一定要注意其实验数据集的介绍,如果数据集有差异,结果都是会重新跑的。
例子:
I hated their fajitas, but their salads were great
→ {fajitas: negative, salads: positive}
Subtask 3: Aspect category detection
该任务和前面两个任务就有区别了,本任务是进行 aspect 的类别检测,即预先会定义一组类别的集合,例如 restaurant 数据集中的类别包括{food, service, price, ambience, anecdotes/miscellaneous}
这 5 个类别。然后我们需要做的就是判别出这个句子中包含了哪些类别。例如下面的两个例子:
The restaurant was too expensive
→ {price}
The restaurant was expensive, but the menu was great
→ {price, food}
Subtask 4: Aspect category polarity
该任务是在上一个任务的基础上,已经预先确定了句子的 aspect 类别,需要做的工作就是确定 aspect 类别对应的情感极性,例如下面的两个例子:
The restaurant was too expensive
→ {price: negative}
The restaurant was expensive, but the menu was great
→ {price: negative, food: positive}
2018 CCF大数据与计算智能大赛(BDCI 2018 )
中的 汽车行业用户观点主题及情感识别 任务就属于是 Aspect categogy detection 和 Aspect category polarity 的融合体,因为它是要求先对评论的主题(subject)进行分类,然后再指出对应主题下的情感极性。
参考
- SemEval-2014 Task 4 官网
- Pontiki M , Pavlopoulos J . SemEval-2014 Task 4: Aspect Based Sentiment Analysis[J]. Proceedings of International Workshop on Semantic Evaluation at, 2014:27-35.