如何结合文本特征检测仇恨和攻击性语言

©原创作者 | 周鹏

体验与资源链接：

https：//github.com/sherzod-hakimov/HASOC-2021---Hate-Speech-Detection

论文：

Combining Textual Features for the Detection of Hateful and Offensive Language

地址：

https://arxiv.org/abs/2112.04803

摘要

自从网络攻击成为一种攻击性行为以来，许多网络用户在日常社交活动中都会受到攻击性语言的攻击。

在这篇文章中，我们分析了如何结合不同的文本特征来检测Twitter上的仇恨或攻击性帖子。

我们提供了详细的实验评估，以了解神经网络架构中每个构建块的影响。所提出的架构是在English Subtask 1A上进行评估的：从TIB-VA团队下的HASOC-2021所发布的数据集中识别仇恨、攻击性和亵渎性内容。

我们比较了上下文词嵌入的不同变体，并结合了字符级嵌入和收集的仇恨词编码。

01 简介

一般来说，仇恨言论被定义为一种基于特定特征，如宗教、种族、出身、性取向、性别、外表、残疾或疾病、用于表达对目标群体或个人的仇恨的语言。

在本文中，我们分析了结合多种文本特征来检测在推特文本中表达的仇恨性、冒犯性或亵渎性语言的影响。

我们评估了在英语和印度雅利安语(HASOC)挑战数据集的仇恨言语和攻击性内容识别上使用我们的方法（https：//hasocfire.github.io）。

我们将解决方案提交到English Subtask 1A上：从HASOC- 2021挑战系列的帖子中识别仇恨、冒犯和亵渎内容。这项任务包括对一条给定的推文文本进行分类，无论其内容是否是可恨的、冒犯性的还是亵渎性的语言。

我们提出了一种基于神经网络体系结构的多种文本特征的组合，并评估了不同的配置。我们的实验评估是对所有三个数据集进行的：HASOC-2019，HASOC-2020，HASOC-202