一种使用 Transformer 对 Twitter 中的机器人进行鲁棒检测的深度学习方法
https://ieeexplore.ieee.org/ielx7/6287639/9312710/09385071.pdf?tp=&arnumber=9385071&isnumber=9312710&ref=aHR0cHM6Ly9zY2hvbGFyLmdvb2dsZS5jb20v目录
3 一种通过TRANSFORMERS进行用户帐户编码的多语言方法
摘要
在过去的几十年里，社交网络上发布的多媒体内容的数量呈指数级增长，这些信息立即被大量用户传播和消费。在这种情况下，用于在整个网络中传播宣传信息和敏感内容的假新闻提供商和机器人帐户促进了应用研究，以通过人工智能 (AI) 自动测量社交网络帐户的可靠性。
在本文中，我们提出了一种多语言方法，用于通过深度学习 (DL) 方法解决 Twitter 中的机器人识别任务，以在检查某个 Twitter 帐户的可信度时为最终用户检测提供支持。
为此，使用最先进的多语言模型进行了几次实验，以生成用户帐户基于文本的特征的编码，这些特征随后与其余元数据连接，以在表示为Bot DenseNet的密集网络上构建潜在的输入向量。
因此，本文评估了先前研究中的语言约束，其中用户帐户的编码只考虑元数据信息或元数据信息以及一些基本的语义文本特征。
此外，Bot-DenseNet 生成用户帐户的低维表示，可用于信息检索 (IR) 框架内的任何应用程序。
INDEX TERMS： 人工智能、机器人检测器、深度学习、特征表示、语言模型、错误信息检测、社交媒体挖掘、转移学习、transformers
1 引言和动机
近年来，推特（Twitter）或脸书（Facebook）等社交媒体平台凭借在网络上发布、传播和交换大量多媒体内容的优势，在数百万用户中获得了巨大的人气和影响力。因此，这些平台允许用户建立一个数字社区，这不仅可以发现和拥抱新的关系，而且可以维护和促进现有的关系。
另一方面，由于这些平台对人们的生活方式及其演变产生了巨大影响，作为一种潜在的沟通工具，他们通过分析用户在不同主题或事件（如政治选举）中的行为和意见，以指数级提升其对营销和商业目的的吸引力。
因此，社交媒体领域开展了大量研究，目的不同，包括情感分析[35]、流量控制[48]或消费者行为挖掘[4]。
然而，社交媒体平台的显著增长也引发了通过传播宣传偏见信息来改变人们对某些主题的看法。许多控制程序由机器人执行，这些机器人在众多研究中有广泛描述，例如自动化系统，能够在网络上生成和传播多媒体内容，而无需人工监督。
此外，随着人工智能（AI）算法的破坏性增长，机器人或不可靠来源的识别已成为一个需要研究的关键挑战。它提出了许多研究和出版物，目的是通过降低消费者的隐私风险，同时提高平台本身的可信度，构建强大的自动化系统，以提高消费者在此类平台上的体验质量。因此，本文旨在通过提出一种新的自动检测方法来提高该领域的技术水平。
将输入用户帐户编码为独立于其语言的低维特征向量；
在称为 Bot-DenseNet 的深度神经网络 (DNN) 中以一定的概率将输入编码向量识别为可疑机器人帐户；
生成一个低维嵌入，它代表用户帐户的原始输入编码向量，可用于与信息检索（IR）相关的任何其他目的；
更具体地说，我们的研究侧重于通过考虑帐户的三个主要方面来识别 Twitter 中的 Bot 帐户：其活动水平、受欢迎程度和个人资料信息。全局特征集可以分为两种模式，包括元数据和基于文本的描述符，后者通过新的语言模型嵌入（LME）编码，以减轻先前研究中遭受的语言约束。
本文的其余部分组织如下：在第二节中，描述了 Bot 识别框架内的先前研究和调查。第 III 节概述了所提出的多语言方法中涉及的主要组件，包括第 III-A 节描述输入编码向量的生成，第 III-B 节总结了拟议的 Bot-DenseNet 模型的拟议架构。之后，第四节介绍了所进行的不同实验以及取得的成果和突破。最后，一般结论和未来的工作总结在第V节。
2 相关工作
最近，包括深度学习 (DL) 和机器学习 (ML) 方法在内的人工智能技术在许多与社交媒体分析相关的应用研究和行业服务中获得了普及和兴趣，其中情感分析和文本分类一直是这些研究的中心焦点，特别是在搜索引擎或推荐系统中。
更具体地说，情感分析的本质在于提取输入句子的术语，以确定其极性，如作者在[8]中所述的正、中和和负，通常作为多类分类问题来解决。此外，情绪分析已被广泛用于在线商业平台的评论和用户意见分析，以及 Twitter 等社交媒体平台的用户行为挖掘的许多研究中。
此外，在过去十年中，Twitter 或 Facebook 等社交媒体平台的持续增长以及不可信信息在其中的大量传播，已经引发了应用研究，来自动识别这些不可信来源，在许多情况下，对应于非人类或机器人帐户。 [9] 提出了该领域的首批研究之一，它基于随机森林方法，使用大约 2000 个样本的手动注释数据集对机器人和非机器人账户进行分类。
2016 年，BotOrNot 中被提出，作为一种使用社交机器人特征之间的相似性自动检测 Twitter 中的机器人的服务。该模型激发了该领域的后续研究，甚至使用该服务来自动注释来自 Twitter 的数据。
在[11]中，作者注释了8000多个账户，并提出了一种分类器，该分类器对这组样本具有相当高的准确性。此外，[38]提出了一种基于账户中大量元数据的推特机器人检测模型，以执行分类。
最近，一些科学研究结合了更多带注释的样本来支持这项研究，例如[27]、[44]、[45]，其中包括一些通过战略性地选择训练样本子集来实现更高准确度的程序，这些样本可以更好地泛化问题。在 [22] 中，采用与语言无关的方法来识别潜在特征，以区分人类和机器人帐户。然后使用以不平衡方式分布的 8000 多个样本对模型进行训练和验证，其性能达到 98% 的准确率。
此外，[32] 中的作者提出了一种基于用户生成内容的 2D 卷积网络模型，用于从人类账户中检测机器人，包括其性别（男性、女性账户），涵盖西班牙语和英语。作者在 [40] 中探索了一个类似的目标，其中 Word 和 Character N-Grams 都被用作执行分类的主要特征。
作者最近在 [5] 中提出了一种解决该问题的不同方式，其中分析了用于调查社交网络的新型 altmetrics 数据，并用于训练图卷积网络 (GCN)，该网络在该任务中达到 70% 以上的准确率.另一方面，[34] 中的作者提出了一种新颖的一类分类器来增强 Twitter 机器人检测，而不需要任何关于它们的先前信息。
由于在进行实验时缺乏针对此特定任务的大量注释数据，上述大多数方法都受到限制。 [45] 中也提到了这个问题，因此，本文考虑了当今所有可用的公共数据集，以便建立一个拥有最新、最相关的 、最先进的Twitter 注释数据的系统。
此外，尽管许多方法同时从用户帐户中使用元数据和基于文本的特性，但是基于文本的特性要么是从词汇层面提取的，要么只包含有限数量的语言，如西班牙语或英语。
与以前的研究不同，我们提出的模型通过新的多语言语言模型(LM)编码输入用户帐户的所有基于文本的特征，包括transformer模型，如所谓的 BERT [14]或上下文字符串嵌入在[2]中提出。因此，通过将这两个元数据特征集与这些 LM 提供的输出向量连接起来，可以获得用户帐户的输入向量。最后，本文提出了一个基于稠密的 DL 模型来产生帐户的最终决策和基于上述输入向量的用户的低维嵌入。
3 一种通过TRANSFORMERS进行用户帐户编码的多语言方法
正如前几节介绍的那样，我们的系统包含一种多语言方法，能够根据一组独立于帐户语言的功能更好地识别可疑的 Twitter 帐户。更具体地说，构建整个系统的方法可以分布在两个独立的过程中：（i）生成用户帐户的多语言输入向量的预处理阶段；和（ii）根据第一阶段生成的输入向量中的存在模式来识别帐户是否具有正常或异常行为的最终决策系统。
此外，前一个过程负责以二进制方式检索大量带注释的Twitter帐户，其中正类表示帐户是Bot，而负类表示它属于人类帐户类别。随后，从每个推特账户收集了几个特征，以增强一些相关方面，包括：（i）活动水平，（ii）受欢迎程度，（iii）个人资料信息。
最后，第一阶段结束时，结合所有特征生成一个输入向量，其中包含每个Twitter帐户的文本和元数据信息。第III-A节描述了提供所有实施细节的全过程。
后一个过程，在第 III-B 节中描述，负责自动识别输入编码向量中的模式，以通过深度神经网络 (DNN) 正确区分机器人和人类推特账户。此外，该过程自动获得输入向量的低维特征表示，由于其低维性质，可以更有效地用于任何 IR 目的。
A、 通过TRANSFORMERS的多语言用户编码
如第 III 节所述，第一个过程需要结合 Twitter 帐户的不同相关方面，以构建可靠的多语言编码表示，该表示可用作整个 DNN 中分类目的的潜在输入。
在图 1 中，展示了此过程的说明性框图，以显示实现系统第一阶段目标所需的不同工具和阶段。
关于提取用户的多语言编码表示的过程的框图
更具体地说，从用户集 U 中检索所有数据的第一阶段是通过 Twitter API 执行的。随后，每个帐户都表示为考虑两种模式的向量：基于文本的特征和元数据特征。前一组通过多语言预训练LM模型得到文本信息的特征向量表示，包括描述、账户的用户名以及账户的语言。后一组特征直接传递到最后阶段，最终阶段将两种模式连接成单个特征向量 x，该向量对输入用户帐户的信息进行编码。
1) 数据集生成
有几个公共数据集可以从二元分类的角度解决机器人识别问题，如表1所示。此外，其中一些数据集已经用于训练和评估[12]提出的所谓Botometer（以前称为BotOrNot）服务。
然而，正如作者在[7]、[28]中所述，机器人账户的生成随着时间的推移而不断变化，此外，一些提供的账户已经被推特暂停。因此，需要进行预处理，通过删除那些已经被推特删除的账户的标识符来提高这一大型数据集的可用性。这一方面也是至关重要的，因为之前的几个机器人检测器尚未更新为机器人帐户当前可能具有的新趋势和功能，因此，它们不再像以前那样可靠。
另一方面，由于 Twitter 的政策限制条款，数据集仅包含 Twitter 帐户的标识符，但没有任何重要特征。因此，通过 Twitter API 执行额外的数据爬取过程，以收集有关分析所需的可用帐户的更多信息。如第 III 节所述，收集以下信息：
流行特征：包括好友和粉丝总数；
活动特征：包括以下字段：创建日期、每天平均推文数、推文和收藏夹数、账户年龄配置文件信息；
功能包括：网名、描述、语言、位置、已验证的指示器、默认配置文件指示器；
在对数据进行爬取和预处理后，最终的完整数据集由 37438 个 Twitter 帐户组成，其中 25013 个被注释为人类帐户，其余 12425 个是机器人；
2) 输入用户编码生成
第一阶段的关键部分在于生成一个基于上述特征集合的用户编码向量，作为所提出的深度学习模型的输入；在之前的相关研究 [7]、[12]、[13]、[20] 中，提出的解决方案有两个主要限制：1）它们要么是面向元数据的方法，因此基于文本的特征在自然语言处理方面的语义级别，或者 2）他们采用了基于 N-gram 或 DL 解决方案的更高级的 NLP 程序，但在执行分析时只支持有限数量的语言。
然而，我们的建议通过结合相关元数据特征以及能够将基于文本的特征转换为独立于输入文本语言的向量的强大模型来解决上述限制。
更具体地说，给定用户 U = {u1,u2,...,um} 的输入集，某个用户帐户表示为 ∀i = 1,...,m 其中
表示其基于文本的特征向量，而
表示剩余的基于元数据的向量;我们提出的解决方案采用映射函数 f (u) 来生成一组新用户 ̇U = { ̇u1, ̇u2,..., ̇um}，其中
.在这种情况下，我们用 || 表示这对向量之间的连接操作。
在这个过程的最后使用连接层的原因在于，该系统只考虑来自同一目标对象的信息：用户账户。本方法不考虑协作式推荐系统中广泛使用的其他方法，如计算外积[19]，因为在这些情况下，嵌入的信息 来自两个不同的来源。用户和项目，外积的目标是捕捉这两个集合之间的相似性和差异性。
3) 编码基于文本的特征
关于从输入用户帐户ui生成基于文本的向量，需要特定函数g（u）。探索和研究了几种自然语言处理框架中不同的最先进的句子级编码器。特别是，采用了[2]中描述的所谓Flair框架，将最先进的文字嵌入（WE）和Transformers[39]、[43]结合起来，从基于文本的特征中提取稳健的文档嵌入。更准确地说，本研究采用了以下主要嵌入类型：
（1）语境字符串嵌入是在没有任何明确的词汇概念的情况下训练出来的。训练时没有任何明确的词的概念，因此，词被建模为字符序列。此外，单词是由周围的文本来决定的。所采用的模型是用所谓的 JW300数据集[1]中描述。在这项研究中，多前向和多后向都嵌入都被 使用。其输出的维度等于2048；
（2）ERT(Bidirectional Encoder Representations from Transformers)嵌入是由[14]提出和开发的，它是基于双向transformer结构的[39], [43]。在这项研究中，所谓的在本研究中，我们采用了所谓的Bert-base-multilingual-cased。
（3）RoBERTa是BERT嵌入的自适应版本，其目标是在较长序列中提高性能，或者如[41]所示，当存在大量数据时。在这种情况下，我们采用了所谓的roberta large mnli预训练模型。
此外，考虑到三种不同的解决方案，进行了几个实验。第一种方法基于使用一个或多个堆叠嵌入，类似于 [25] 提出的方法，因此，来自用户帐户的所有基于文本的特征都以句子级表示进行编码。随后，通过池化模型计算文档级表示，其中计算了所有堆叠句子级嵌入的平均值。
第二种方法是在用于生成句子级编码的所有词嵌入上训练长短期记忆（LSTM）循环网络。最后，最后一种方法直接使用预训练的 Transformer 模型的中间层来生成文档级嵌入。
此外，名为 BERT-base-multilingual-cased 的多语言 BERT 转换器预训练模型和名为 roberta-large-mnli 的 RoBERTa 预训练模型都已被使用。更具体地说，前者生成 768 维嵌入向量，而后者生成 1024 嵌入表示。上述预训练模型的所有细节都可以在官方 Hugging Face 存储库中找到。
4) 编码基于元数据的特征
另一方面，来自输入用户帐户的所有相应元数据特征都在整个函数 中进行了适当的预处理和编码，以由神经网络进行解释。此外，它们与上述基于文本的特征一起连接，如第 III-A 节所述。
特别是，这组特征包括与用户帐户的流行度和活动相关的所有信息。
B. BOT-DenseNet
一旦获得由 ̇U 表示的输入用户向量集，就需要第二个过程来自动将帐户识别为机器人或人类。
为了实现这一目标，我们提出了一个名为 Bot-DenseNet 的基于深度全连接的神经网络，它能够根据输入向量的隐藏模式找到稳健的决策边界，以更好地识别 Twitter 中的机器人帐户。模型实现的细节，包括神经网络中的经典参数，如激活函数、隐藏层中的神经元数量或执行反向传播和梯度下降算法的选定优化器，总结在表 2 中。
与以往研究的主要区别之一是引入了所谓的比例指数线性单元（SELU），类似于[23]中提出的方法，该方法比经典的ReLU激活函数获得更好的结果。
另一方面，如图 2 所示的系统架构由一组块组成，包括密集 + 批量标准化 + 激活 + 丢弃层，在一般的基于密集的模型中按顺序排列
此外，在架构中包含批量归一化层存在于以前的研究中，例如 [10]、[21] 中描述的研究，其中作者证明使用这种归一化时训练性能确实有所提高，因为该层提供了许多好处，包括更快的收敛，因为它允许在梯度下降算法中使用更高的学习率。
在进行了几次启发式实验后，仔细选择了上述超参数，以设计一个在 F1 分数方面具有最佳性能的模型。
4 实验结果
本文的主要目标之一依赖于通过消融研究分析基于 Transformer 的不同输入特征向量以及其他新方法来研究相同 DNN 模型的性能。
此外，考虑到二元分类，DL 架构以经典的监督学习方式进行训练，其中正类指的是机器人，而负类对应于人类账户。
由于数据集的不平衡约束，遵循了两个主要步骤：（i）采用了[26]中更新的所谓分层采样，以强制在系统的训练和评估期间从两个类中获得样本，（ii）F1分数度量作为系统性能的主要度量，因为它在单个值中平衡了精度和召回度量，并提供了有关模型检测正类和负类能力的更真实信息，而不是经典精度度量。
此外，为了缓解经典过拟合问题，当神经网络无法正确泛化未知样本时，会发生的问题，我们采用了两种主要的广泛使用的技术：(i) Dropout首先在[36]中提出，其目的是在每个历时中以一定概率随机停用一些神经元；（ii）提前停止，如[46]所述，当验证集的性能在一定时期内不再改善时，尝试停止训练过程。因此，需要一个超参数来表示损失函数或考虑验证集的指标没有改进的epoch，通常称为耐心；
A. 训练和验证 BOT-DenseNet
这些实验的目的是找到要添加到 Bot-DenseNet 顶部的最合适的文本嵌入以及其余的元数据特征向量，以便为下游任务（例如本文中提出的任务）找到最佳决策边界。
表 3 总结了在所有可能的输入特征向量的训练和验证阶段获得的结果。由于数据集不平衡，F1-score 度量在系统评估中起着至关重要的作用，以便客观衡量在社交网络（如 Twitter）中识别机器人的性能，其中只有少数账户确实属于机器人类别，如之前的研究 [7]、[27]、[34] 中所述。特别是，由于模型是使用 Early-Stopping 回调来训练的，以在验证集中的损失函数不再减少时停止该过程，因此 F1 分数是通过使用召回率和精度来计算的在这个特定的时段。
此外，在表3中，每行表示使用的预训练LM，如Flair、BERT、RoBERTa等，以及生成最终输入用户编码所遵循的方法（通过池化、双向LSTM或直接从Transformer模型的中间层获得的嵌入）。特别是，表3中的结果反映出，当把直接从transformer中间层提取的文本嵌入与元数据特征结合起来时 训练集和验证集中，所提出的Bot-DenseNet模型在F1分数方面都取得了更高的分数。
另一方面，当使用 Pooling 或 LSTM 生成最终文本嵌入时，训练阶段的 F1 分数指标高于验证阶段，这表明模型存在过度拟合。因此，在分析未来预测中看不见的观察结果时，此问题可能会导致系统性能下降。
B、 自监督用户嵌入
我们提出的模型能够基于一组强大的输入特征来识别可疑的 Twitter 帐户。然而，正如在深度学习框架中众所周知的那样，中间层通常是输入的充分嵌入表示，可以以更有效的方式用于其他下游任务，例如文本分类或相似性分析，因为它们低维性质。
因此，在训练我们提出的模型之后，它以自我监督的方式生成输入 Twitter 帐户的相关表示，因为这种表示是由中间隐藏层自动学习的。因此，Bot Denset还可以用于在其最后一个中间层将任何用户帐户编码为256维向量。为了更好地可视化不同模型的最后一层获得的最终嵌入，使用所谓的 T-SNE 算法计算它们的 2D 投影表示，在 [30] 中更新，困惑度等于 80 。
更具体地说，图 3 包括了作为直接使用预训练 Transformers 模型训练模型的结果的嵌入，而图 4 显示了使用 Word Embeddings 的不同组合以及在它们之上的 Pooling 或 LSTM 产生的结果最终的文本向量。
此外，图 3 说明了 Transformer 在任何下游 NLP 任务中的潜力，例如本文中提出的任务，其中它们的中间层已被用于获得用户帐户基于文本的特征的稳健表示。因此，他们提高了 Bot-DenseNet 的能力，以更有效的方式更好地区分机器人和人类账户。
此外，图 3 表明，与通过组合不同文本嵌入所提供的边界相比，BERT 和 RoBERTa transformer在没有任何额外步骤来生成文本编码（既不是池化也不是 LSTM）的情况下确定的边界更简单、更充分，总结图 4. 这一事实也出现在表 3 的 F1-score 指标中，很明显这两种解决方案不会过度拟合数据，因此它们更适合用作我们提出的顶级解决方案Bot-DenseNet 模型
C、 BOT-DenseNe决策准则
在进行上述实验后，需要最终决定选择模型的最佳配置。为此，考虑了以下标准： (ii) 模型在可训练参数和输入特征向量长度方面的简单性，如表 4 所示； (iii) 通过观察 TSNE 投影中的低维嵌入分布来评估最终决策边界以区分 Bot 和 Human 账户的简单性。为了提出能够在未来应用中泛化的稳健模型，这一方面至关重要。
因此，考虑到做出最终决定的这些因素，表 4 和图 3 都经过分析，以提供客观的决定。首先，关于性能，最好的模型是根据在验证阶段获得的 F1 分数在其上使用所谓的 RoBERTa Transfomer 的模型。
其次，当涉及到简单性时，我们注意到最好的方法是在生成输入向量时采用了LSTM，但它们在F1分数方面取得了相当低的结果，因此，在进一步的分析中放弃了它们。另一方面，采用 Pooling 过程的方法家族是那些在可训练参数方面具有最高复杂度以及基于 F1 分数的最低性能的方法，因此，它们被直接从最终丢弃决定。
关于应用 TSNE 方法后样本分布的简单性，图 4 和图 3 表明，使用 Transformer 作为输入特征向量的一部分时实现的边界比其他配置更合适和更简单。
因此，最终模型在其顶部使用所谓的 RoBERTa 转换器，因为它在精度和简单性之间提供了显着的权衡，这是实现深度学习模型时需要考虑的关键方面。
最后，表5显示了我们提出的DL架构与以前的研究在整个F1分数指标、学习方法以及纳入语言相关特征的能力方面的比较。
这种比较在以下方面增强了我们提出的方法：（i）通过 Transformer 分析文本描述符的整个过程中的语言相关特征，以改善输入特征向量，从而提高系统在面对非英语语言时的鲁棒性。 (ii) 混合学习，因为一旦使用有限的注释数据集（监督学习）训练模型，它就会在其中间隐藏层（无监督学习）中产生嵌入。(iii) 与最新研究相比，有希望的评分指标。
可以在这个 Github 存储库中找到实现的所有细节以及重新训练或测试提议系统的代码。更具体地说，发布了一个名为 User2Vec 的 Python 库，以促进该领域的进一步研究。
5 结论与未来工作
在本文中，描述了一种用于检测 Twitter 帐户中的机器人的强大解决方案。特别是，本研究通过强大的最先进的 NLP 模型（如 Transformers）利用迁移学习技术来提取与用户帐户相关的基于文本的特征的紧凑多语言表示。通过这样做，减轻了先前研究中提出的与处理基于文本的特征以改进来自多种语言的输入特征向量有关的几个约束。
此外，通过在基于密集的神经网络之上使用文本编码和额外的元数据，一个名为 Bot-DenseNet 的最终分类器已经使用通过 Twitter API 收集的大量样本进行了训练和验证。更具体地说，使用 Word Embeddings、文档嵌入（Pooling 和 LSTM）和 Transformer 的不同组合进行了几个实验，以获得关于用户帐户基于文本的特征的单个向量。随后，对使用这些语言模型方法作为输入的一部分时所提出的分类器的性能进行了详细比较，以研究哪个输入向量在生成决策边界和可行性方面的性能简单性方面提供了最佳结果。
特别是，这些实验的比较表明，当使用所谓的 RoBERTa Transformer 作为输入特征向量的一部分时，Bot-DenseNet 在性能和可行性之间实现了最充分的权衡。
因此，本文为科学界提供了两个主要贡献，包括用于自动检测机器人的 DL 模型以及将任何 Twitter 帐户表示为贯穿上述中间层的低维特征向量的稳健方式。化模型。此外，Twitter 帐户的这种紧凑表示可以用作推荐器或搜索引擎、相似性分析或与社交媒体挖掘相关的任何其他应用程序的基线。
最后，本研究还指出了新型transformer在下游NLP任务中的出色表现，因为它提供了一个更稳健的输入矢量。导致最终的分类器模型更有能力 从中提取相关的低层次特征。
作为未来的工作，将考虑使用最新的 Transformer，如 GPT-3 [17] 和 T5 [33] 来生成所提出的 DL 模型的输入向量，以便将性能与本文描述的工作进行比较。此外，一旦生成了所有用户嵌入，将考虑使用 [24] 中作者描述的基于所谓的最大平均差异 (MMD) [18] 自动生成非参数双样本测试的新方法，找出机器人和非机器人嵌入分布之间的差异和相似之处。
1056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
