Survey of Aspect-based Sentiment Analysis Datasets

基于方面的情感分析数据集综述

Siva Uday Sampreeth Chebolu 1 , Franck Dernoncourt 2 , Nedim Lipka 2 , Thamar Solorio 1 1 University of Houston, 2 Adobe Research 1 4800 Calhoun Rd, Houston, TX 77004, USA 2 325 Park Ave San Jose, CA 95110, USA sivauday.sampreeth8@gmail.com, franck.dernoncourt@gmail.com, lipka@adobe.com, thamar.solorio@gmail.com

摘要

基于方面的情感分析（ABSA）是一个自然语言处理问题，需要分析用户生成的评论，以确定：a）被审查的目标实体，b）它所属的高级方面，以及c）对目标和方面表达的情感。ABSA的语料库数量众多但分散，这使得研究人员很难快速确定最适合特定ABSA子任务的语料库。本研究旨在建立一个语料库，用于对自主ABSA系统进行训练和评估。此外，我们还概述了有关各种ABSA及其子任务的主要语料库，并强调了研究人员在选择语料库时应考虑的几个语料库特征。我们的结论是，需要进一步的大规模ABSA语料库。此外，由于每个语料库的构造不同，研究人员在多个语料库上试验一种新的ABSA算法非常耗时，而且往往只使用一个或几个语料库。该领域将受益于就ABSA语料库的数据标准达成协议。

最后，我们讨论了当前收集方法的优缺点，并对未来的ABSA数据集收集提出了建议。

1、引言

    消费者和产品制造商/服务提供商从电子商务平台上用户生成的评论中获益。阅读以前的客户体验可以帮助未来的客户做出明智的决策。阅读能够引起用户反馈的特征，可以帮助制造商和商家制定措施，提高客户满意度。随着数据的增长，我们需要从文本评论中自动识别和提取情感或观点。意见挖掘（Pang et al.，2002；Turney，2002）是一种将计算语言学和自然语言处理相结合的技术。
    文档级情感分析旨在确定文档的总体观点，而句子级情感分析则侧重于单个短语，假设对实体有独特的观点。然而，在许多情况下，一个实体（如餐厅、手机、笔记本电脑或任何其他对象）可能会有数百个评级，涉及各个方面和观点。方面可以是产品或实体的特征、特征或行为，如餐厅的气氛、笔记本电脑的性能、手机的显示等。
    为此，分析的重点是更精细的分析，即方面层面的情绪分析（Hu和Liu，2004a），其中确定每个实体及其方面的情绪（Poria et al.，2020）。ABSA已经研究了20年，出现了各种子任务来克服一些挑战。除了子任务之外，还创建了大量的系统、度量和语料库来解决任务。所有分析、方法和子任务都基于这些元素，子任务的名称来自该研究中确定的元素子集。
    例如，检测方面术语（给定方面术语）的情绪性的任务称为方面术语情绪分析（ATSA）。ABSA可分为两个级别：1）句子级别和2）复习级别。图1中的分析是句子级ABSA的一个示例。每个ABSA数据集可能有一个或多个注释元素，以便于解决多个子任务。
    鉴于ABSA子任务和方法的多样性，研究人员可能会发现确定哪种语料库最适合特定的研究任务很有挑战性。我们旨在通过提供可用语料库的概述并评估其对基本ABSA活动的可用性来克服这一挑战。具体而言，本研究的目标是评估和总结有关收集ABSA元素的文本跨度和分类值的文献，说明迄今为止所学的内容，并为未来的数据集创建提出建议。其他ABSA调查（Ahmet和Ab-dullah，2020年；Sabeeh和Dewang，2018年；Do等人，2019年；Laskari和Sanampudi，2016年；Sethi和Bhat-tacharyya，2017年；Nazir等人，2020年；Schouten和Fras-Inbo，2016年；Suresh和Raghavi，2016年）和关键回顾（Poria等人，2020年），侧重于定义、程序和/或评估，而非数据集，将从中受益。我们首先提供现有子任务和当前数据集的概述，然后提供表的活动版本作为允许社区添加的网站1。接下来，我们看看可以从当前的数据收集方法中学到什么。我们在第2.3节中强调了两个方面，我们认为这对目前的ABSA研究尤为重要。

图1:ABSA及其元素的餐厅评论示例

任务和数据集概述

    在本节中，我们将讨论与ABSA相关的各种任务和子任务，以及有助于以独立或联合方式解决其一个或多个子任务的不同数据集。

2.1. 任务概述和挑战

    这个问题有两个子问题：1）方面提取（例如，寿司、面食和行为良好的员工）和2）识别每个方面的极性。方面提取包括两个子任务：a）提取方面术语和b）将提取的方面术语分类/规范化为方面类别。此外，极性检测有两个子任务：a）确定每个类别的极性，b）识别每个方面单词的极性。例如，在图1中的回顾中，我们对方面术语“价值”、“饺子”、“寿司”和“服务”以及各自的方面类别“价格”、“食物”和“服务”有正的情绪极性。有助于确定极性的观点短语非常好。因此，我们可以从不同ABSA任务和子任务的给定数据中识别出五个主要元素，如图1所示：1）方面术语、2）方面类别、3）目标、4）极性和5）观点短语。
    我们将ABSA产生的所有子任务作为行进行概述，并将其标识的元素子集作为表1中的列。我们还提供了每个子任务的通用名称及其各自识别的元素，以及情感极性，以及与方面术语、方面类别或目标相关的观点短语。例如，方面类别情绪分析（ACSA）旨在确定对给定方面类别的极性。然而，目标方面情感检测（TASD）任务共同识别目标、方面类别以及向目标类别对表达的极性。表中的最后三行是最近创建的任务，包括识别给定文本中的观点短语，这些短语与给定给相应元素（如目标或方面）的情感极性一致。
    ABSA及其子任务面临一些重大挑战。首先，上述每个元素都不是独立的，而是依赖于其他元素的检测。例如，可以在tan-dem中使用纵横比术语提取和纵横比类别检测任务，以在综述中查找术语和类别。方面术语提取器可以提取相关的方面术语，反之亦然，前提是它知道评审属于哪个方面类别。在评论中，“然而，正是这项服务给我留下了酸味。”明确使用术语服务，表示方面服务。如果方面术语提取器知道方面类别服务，那么它会在评论中赋予单词Service更大的权重。类似地，如果在审查中对术语服务给予更高的权重，则方面类别检测器可以识别服务类别。我们需要将“嘴里有酸味”这句含蓄的话作为情绪指标，以了解评论传达了对服务的负情绪极性。这个短语是一个对服务有负含义的成语。在这种情况下，不应考虑字面意思，因为批评并非针对餐厅的任何食物或饮料。
    ABSA的另一个问题是它与其他几个NLP任务的相关性和依赖性。值得注意的是，并非文本中描述的每个实体都是一个方面。表达意见的实体称为方面。我们需要一个复杂的NER系统来识别食品、饮料、餐厅、计算机、加工商、酒店的名称，以及其他可能成为所提供评论句子中目标/方面术语的项目。因此，通过处理常见的意见，我们必须在提供的评论中找到意见短语，并将它们与所有适当的实体联系起来。该问题与NLP实体链接问题密切相关（Daiber et al.，2013；Kolitsas et al.，2018）。
    在评论中，great同时用于食物和玛格丽塔，“食物很好，玛格丽塔也很好。”另一方面，本评论中没有明确提及实体“有创意、美味但价格昂贵”，因此应假设意见是在食品上传达的。然而，我们必须得出结论，在《餐厅评论》“好且价格合理…”中，这一方面是餐厅，而不是食物为了解决这些问题，我们必须模型ABSA问题与相关子问题，如方面术语识别（NER）、极性和意见检测（意见短语）、句法简化（Siddharthan，2006；Scarton等人，2017），以获得每个意见实体对的单独句子，以解决常见意见问题。

表1：ABSA的常见子任务及其与已识别元素（方面类别、方面术语和目标）的关系：[线条][图像]只需要元素检测，：[线条][图像]需要元素检测和情感极性[线条][图像]评估，：需要元素和观点短语检测，：[线条][图像]需要元素、情感极性和观点短语检测，：[线条][图像]只需要给定元素的情感极性检测，单个：任务独立，联合：任务是多任务设置或联合标识任务

2.2. 数据集概述

    表2和表3分别列出了ABSA及其子任务的所有公开可用英语和非英语数据集。我们给出了首次使用数据集的论文的详细信息、年份、数据集的域、评论数量和相应的句子数量、数据集中注释了哪些元素，以及表1中使用可用注释可以解决的相关子任务。
    SemEval challenge数据集以及最近发布的SentiHood和MAMS语料库是基于方面的情绪分析中使用最广泛的语料库。SemEval语料库在2014年至2016年每年举行的语义评估国际研讨会期间作为共享工作的一部分公开。数据集的完整描述见（Pontiki et al.，2014；Pontiki et al.，2015；Pontiki et al.，2016）。历史上，ABSA主要关注方面术语提取和情绪分析（Hu和Liu，2004a）。2014年之前，关于方面类别检测和情感分析的研究很少。然而，随着ACD在2014年SemEval上的正式提出，出现了一系列新的挑战。由于人工神经网络的出现，ABSA在所有任务中都取得了正的成果。
    尽管SemEval数据集在这项工作中很受欢迎，但大多数句子只包含具有相同情感极性的一个或多个方面，从而将ABSA任务简化为句子级情感分析。（Jiang等人，2019）发布了一个新的大规模多方面多情感（MAMS）数据集，其中每个短语至少有两个独立的方面，具有不同的情感极性。SemEval语料库的另一个缺点是，它们包含对单个目标实体的评论，例如笔记本电脑或餐厅。为了克服这一问题，（Saeidi et al.，2016）创建了感知数据集，以识别对一个或多个实体的各个方面的情绪。
    正如我们在上一节中所讨论的，意见短语在确定针对某个方面或目标的情绪极性方面非常关键，有时，还可以确定意见属于哪个目标/方面。（Fan等人，2019年；Peng等人，2020年）修改了SemEval数据集，以解释数据集中缺失的意见短语，从而导致目标、方面术语或方面类别的特定情绪极性。然而，这导致了极少数情况迫使他们将SemEval-2014至SemEval-2016的所有评论合并到一个数据集中。

2.3. 数据集格式和数据分布

    ABSA组件的定义和格式因数据集的源而异。例如，SemEval-2014发布了一个数据集，其中包含明确且独立的方面类别和方面术语，以及相应的情感极性。因为术语和类别之间没有一对一的对应关系，所以在联合检测场景中使用方面术语和类别是有问题的。因此，研究人员被迫研究ATE和ASTE或ACD和ACSA。然而，在SemEval-2015和SemEval-2016中，数据集结构更加明确，在目标和方面类别之间建立了联系，情绪极性与目标方面类别组合相联系。这使得社区能够通过使用术语和类别更好地识别给定文本中所表达的情感。同样，在SemEval-2015和SemEval-2016中，方面类别分为两个组件：1）实体和2）属性。实体可以是被审查实体本身，如餐厅、其一部分/组成部分，如氛围，或其他相关实体，如饮料。属性是实体的方面，如价格或质量。审查可以由多个实体组成，每个实体可能有多个属性。
    （Jiang等人，2019年；Regatte等人，2020年）和其他一些人遵循SemEVal-2014格式，最近发布了新的数据集。然而，（Fan et al.，2019；Peng et al.，2020）将所有三个SemEval共享任务的数据集修改为另一种格式，以包含意见短语。另一方面，SentiHood数据集使用JSON格式为目标、方面和情感提供注释。
    但SentiHood数据集中方面类别的定义是目标和方面的组合，这导致了表1中ACD和ACSA任务的识别。如第2.2节所述，SemeEval-2014中正式引入了方面类别，之前的所有数据集仅对方面术语及其情感极性进行了注释，以解决ATE和ATSA任务。
    当前ABSA数据集的另一个主要问题是方面类别的分布不平衡，这导致性能不佳。图2中的每个图显示了存在方面类别的评论与数据集每个分割中的评论总数的比率。如图2所示，所有数据集中每个类别的实例数的分布是不均匀的。由于数据集的倾斜结构，代表性不足的实体和类别（如SE-16餐厅的饮料以及MAMS和SE-14数据集中的价格）的任务更加困难。
    然而，在餐厅领域，更容易确定评论最高的食品相关实体和类别。

表2:ABSA及其子任务的公开英语数据集#R： 评论数量，#S：句子的[行][图像]数量：元素及其情感极性的注释可用，：[行][图像]元素及其意见短语的注释可用，：[行][图像]元素的注释，其情感极性和意见短语可用。

表3:ABSA及其子任务的公开非英语语言数据集#R： 评论数量，#S：句子数量：元素的[线条][图像]注释及其情感极性可用。

3、结论和未来方向

    我们总结了这项工作中用于基于方面的情感分析的关键语料库，以及各种ABSA子任务和每个数据集中的注释组件之间的关系。然而，存在许多语料库，其中大多数都很小，无法用于确定使用神经网络模型识别方面/目标情感极性的有效性。
    需要更大规模的ABSA语料库来检测各种元素，包括意见短语，以构建一个健壮的系统来确定对方面和目标的情感倾向。此外，每个语料库都有其独特的数据结构；为ABSA语料库建立数据标准将简化研究。
    对于更复杂和更健壮的ABSA系统，我们敦促社区使用已经建立的结构和标准，用于具有平衡特性的方面类别的未来数据集。此外，研究人员可能会尝试在未来的数据集中加入意见短语注释，这对ABSA至关重要。

图2:ABSA数据集中的方面类别分布

4、书目参考文献

Ahmet, A. and Abdullah, T. (2020). Recent trends and advances in deep learning-based sentiment analysis.

Al-Smadi, M., Qawasmeh, O., Talafha, B., and Quwaider, M. (2015). Human annotated arabic dataset of book reviews for aspect based sentiment analysis. In 2015 3rd International Conference on Future Internet of Things and Cloud , pages 726– 730.

Daiber, J., Jakob, M., Hokamp, C., and Mendes, P. N. (2013). Improving efficiency and accuracy in multi- lingual entity extraction. In Proceedings of the 9th International Conference on Semantic Systems , I- SEMANTICS ’13, page 121–124, New York, NY, USA. Association for Computing Machinery.

de Franca Costa, D. and da Silva, N. F. F. (2018). Inf- ufg at fiqa 2018 task 1: Predicting sentiments and aspects on financial tweets and news headlines. In Companion Proceedings of the The Web Conference 2018 , WWW ’18, page 1967–1971, Republic and Canton of Geneva, CHE. International World Wide Web Conferences Steering Committee.

Ding, X., Liu, B., and Yu, P. S. (2008). A holistic lexicon-based approach to opinion mining. In proceedings of the 2008 International Conference on Web Search and Data Mining , WSDM ’08, page 231–240, New York, NY, USA. Association for Computing Machinery.

Do, H. H., Prasad, P., Maag, A., and Alsadoon, A. (2019). Deep learning for aspect-based sentiment analysis: A comparative review. Expert Systems with Applications , 118:272 – 299.

Dong, L., Wei, F., Tan, C., Tang, D., Zhou, M., and Xu, K. (2014). Adaptive recursive neural network for target-dependent twitter sentiment classification. In The 52nd Annual Meeting of the Association for Computational Linguistics (ACL) . ACL.

Fan, Zhifang and Wu, Zhen and Dai, Xin-Yu and Huang, Shujian and Chen, Jiajun. (2019). Target- oriented Opinion Words Extraction with Target- fused Neural Sequence Labeling . Association for Computational Linguistics.

Hu, M. and Liu, B. (2004a). Mining and summarizing customer reviews. In Proceedings of the Tenth ACM SIGKDD International Conference on knowledge Discovery and Data Mining , KDD ’04, page 168–177, New York, NY, USA. Association for Computing Machinery.

Hu, M. and Liu, B. (2004b). Mining and summarizing customer reviews. In Proceedings of the Tenth ACM SIGKDD International Conference on knowledge Discovery and Data Mining , KDD ’04, page 168–177, New York, NY, USA. Association for Computing Machinery.

Jiang, Q., Chen, L., Xu, R., Ao, X., and Yang, M. (2019). A challenge dataset and effective models for aspect-based sentiment analysis. pages 6281–6286, 01.

Kessler, J. S., Eckert, M., Clark, L., and Nicolov, N. (2010). The 2010 icwsm jdpa sentment corpus for the automotive domain. In 4th international AAAI Conference on Weblogs and Social media Data Workshop Challenge (ICWSM-DWC 2010) .

Kolitsas, N., Ganea, O.-E., and Hofmann, T. (2018). End-to-end neural entity linking. In Proceedings of the 22nd Conference on Computational Natural Language Learning , pages 519–529, Brussels, Bel- gium, October. Association for Computational Lin- guistics.

Laskari, N. K. and Sanampudi, S. K. (2016). Aspect based sentiment analysis survey.

Li, X., Bing, L., Li, P., and Lam, W. (2018). A unified model for opinion target extraction and target sentiment prediction. CoRR , abs/1811.05082.

Liu, Q., Gao, Z., Liu, B., and Zhang, Y. (2015). Automated rule selection for aspect extraction in opinion mining. In Proceedings of the 24th international Conference on Artificial Intelligence , IJ- CAI’15, page 1291–1297. AAAI Press.

Nazir, A., Rao, Y., Wu, L., and Sun, L. (2020). Issues and challenges of aspect-based sentiment analysis: A comprehensive survey. IEEE Transactions on Af- fective Computing , pages 1–1.

Pang, B., Lee, L., and Vaithyanathan, S. (2002). Thumbs up? sentiment classification using machine learning techniques. In Proceedings of the 2002 Conference on Empirical Methods in Natural language Processing (EMNLP 2002) , pages 79–86. association for Computational Linguistics, July.

Peng, H., Xu, L., Bing, L., Huang, F., Lu, W., and Si, L. (2020). Knowing what, how and why: A near complete solution for aspect-based sentiment analy- sis. Proceedings of the AAAI Conference on artificial Intelligence , 34(05):8600–8607, Apr.

Pontiki, M., Galanis, D., Pavlopoulos, J., Papageor- giou, H., Androutsopoulos, I., and Manandhar, S. (2014). SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th international Workshop on Semantic Evaluation (SemEval 2014) , pages 27–35, Dublin, Ireland, August. association for Computational Linguistics.

Pontiki, M., Galanis, D., Papageorgiou, H., Manand- har, S., and Androutsopoulos, I. (2015). SemEval- 2015 task 12: Aspect based sentiment analysis. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015) , pages 486– 495, Denver, Colorado, June. Association for Com- putational Linguistics.

Pontiki, M., Galanis, D., Papageorgiou, H., Androut- sopoulos, I., Manandhar, S., AL-Smadi, M., Al- Ayyoub, M., Zhao, Y., Qin, B., De Clercq, O., Hoste, V., Apidianaki, M., Tannier, X., Loukachevitch, N., Kotelnikov, E., Bel, N., Jiménez-Zafra, S. M., and Eryiğit, G. (2016). SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic evaluation (SemEval-2016) , pages 19–30, San Diego, Cali- fornia, June. Association for Computational Linguis- tics.

Poria, S., Hazarika, D., Majumder, N., and Mihalcea, R. (2020). Beneath the tip of the iceberg: Current challenges and new directions in sentiment analysis research.

Rahman, M. A. and Kumar Dey, E. (2018). Datasets for aspect-based sentiment analysis in bangla and its baseline evaluation. Data , 3(2).

Regatte, Y. R., Gangula, R. R. R., and Mamidi, R. (2020). Dataset creation and evaluation of aspect based sentiment analysis in Telugu, a low resource language. In Proceedings of the 12th Language resources and Evaluation Conference , pages 5017– 5024, Marseille, France, May. European Language Resources Association.

Sabeeh, A. A. and Dewang, R. K. (2018). Compari- son, classification and survey of aspect based sentiment analysis.

Saeidi, M., Bouchard, G., Liakata, M., and Riedel, S. (2016). SentiHood: Targeted aspect based sentiment analysis dataset for urban neighbourhoods. In proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: technical Papers , pages 1546–1556, Osaka, Japan, Decem- ber. The COLING 2016 Organizing Committee.

Scarton, C., Palmero Aprosio, A., Tonelli, S., Martı́n Wanton, T., and Specia, L. (2017). MUSST: A multilingual syntactic simplification tool. In proceedings of the IJCNLP 2017, System demonstrations , pages 25–28, Tapei, Taiwan, November. association for Computational Linguistics.

Schmitt, M., Steinheber, S., Schreiber, K., and Roth, B. (2018). Joint aspect and polarity classification for aspect-based sentiment analysis with end-to-end neural networks. In Proceedings of the 2018 conference on Empirical Methods in Natural Language Processing , pages 1109–1114, Brussels, Belgium, October-November. Association for Computational Linguistics.

Schouten, K. and Frasincar, F. (2016). Survey on aspect-level sentiment analysis. IEEE Transactions on Knowledge and Data Engineering , 28(3):813– 830.

Sethi, A. and Bhattacharyya, P. (2017). Aspect based sentiment analysis-a survey.

Siddharthan, A. (2006). Syntactic simplification and text cohesion. Research on Language and Computa- tion , 4(1):77–109.

Suresh, . and Raghavi, . (2016). A comprehensive survey on aspect based sentiment analysis.

Toprak, C., Jakob, N., and Gurevych, I. (2010). Darm- stadt service review corpus.

Turney, P. (2002). Thumbs up or thumbs down? semantic orientation applied to unsupervised classification of reviews. In Proceedings of the 40th Annual Meeting of the Association for Computational Lin- guistics , pages 417–424, Philadelphia, Pennsylva- nia, USA, July. Association for Computational Lin- guistics.

Wan, H., Yang, Y., Du, J., Liu, Y., Qi, K., and Pan, J. (2020). Target-aspect-sentiment joint detection for aspect-based sentiment analysis. In AAAI .

Wang, H., Lu, Y., and Zhai, C. (2010). Latent aspect rating analysis on review text data: A rating regression approach. In Proceedings of the 16th ACM SIGKDD International Conference on knowledge Discovery and Data Mining , KDD ’10, page 783–792, New York, NY, USA. Association for Computing Machinery.

Wang, H., Lu, Y., and Zhai, C. (2011). Latent aspect rating analysis without aspect keyword supervision. In Proceedings of the 17th ACM SIGKDD international Conference on Knowledge Discovery and Data Mining , KDD ’11, page 618–626, New York, NY, USA. Association for Computing Machinery.

Xue, W., Zhou, W., Li, T., and Wang, Q. (2017). MTNA: A neural multi-task model for aspect category classification and aspect term extraction on restaurant reviews. In Proceedings of the Eighth international Joint Conference on Natural Language Processing (Volume 2: Short Papers) , pages 151– 156, Taipei, Taiwan, November. Asian Federation of Natural Language Processing.

Yin, Y., Song, Y., and Zhang, M. (2017). Document- level multi-aspect sentiment classification as machine comprehension. In Proceedings of the 2017 Conference on Empirical Methods in Natural language Processing , pages 2044–2054, Copenhagen, Denmark, September. Association for Computa- tional Linguistics.

Zeng, Z., Ma, J., Chen, M., and Li, X. (2019). Joint learning for aspect category detection and sentiment analysis in chinese reviews. In Qi Zhang, et al., ed- itors, Information Retrieval , pages 108–120, Cham. Springer International Publishing.