[论文挑读]TRAC2022

任务介绍

与前几届一样，TRAC 的重点是应用 NLP、ML 以及有关攻击和无礼的实用研究来解决这些问题。因此，研讨会还包括 "攻击识别 "的共同任务。该任务由两个子任务组成： (1) 上下文中的偏见、威胁和攻击识别； (2) 跨领域概括–COVID-19。在任务 1 中，参与者会收到一条评论 “线程”，其中包含不同类型偏见和威胁（即性别偏见、性别威胁和无性别威胁等）的存在信息，以及其与前一条评论和原帖之间的话语关系（即攻击、教唆、辩护、反驳和气话）。在一系列评论中，参与者需要预测每条评论中是否存在攻击性和偏见，并可能利用上下文进行预测。在这项任务中，ComMA 项目提供了一个包含约 60k 条评论（约 180k 条注释样本）的数据集，用于训练和测试。

其中，有毒、辱骂、攻击性语言、仇恨言论和其他不良现象已成为专门模型、语言资源和评估活动开发的主题。在本次演讲中，他将从多语言的角度对设计和大规模评估工作的结果进行部分概述。对于这种主观且难以定义的现象的定量结果不应只看其表面价值。相反，应该仔细分析基准的质量及其背后的注释数据。最后，他将简要介绍视角主义框架及其对不良语言分析模型评估的潜在影响

会议地址：https://aclanthology.org/events/coling-2022/#2022trac-1