句嵌入方法
数据偏差
模型设计
- 仇恨言论检测的概述: 仇恨言论是一种直接攻击或煽动仇恨的有害在线内容,针对个人或群体的身份特征,如种族、宗教和性取向。自动检测仇恨言论是一项紧迫而重要的任务,但目前的模型缺乏泛化能力,即在不同的数据集上表现不佳。
-
词嵌入和句嵌入是自然语言处理中的重要技术,它们将文本转换为机器可以理解和处理的数值向量
词嵌入方法
- One-Hot(独热编码)模型:这是最简单的词嵌入方法,将词典中所有的词排成一列,根据词的位置设计向量,例如词典中有m个词,则每个单词都表示为一个m维的向量,单词对应词典中的位置的维度上为1,其他维度为0
- Word2Vec:这是一种常用的词嵌入方法,包括两个模型:CBOW和Skip-Gram。CBOW是根据上下文来预测中心单词;Skip-Gram通过中心词来预测上下文的单词
- GloVe:GloVe算法很好地把MF这种全局的方法和SkipGram这种局部的方法整合在了一起。GloVe的计算效率很高、效果也很好
- Doc2Vec:作为Word2Vec的扩展,Doc2Vec是当下最流行的句嵌入技术之一。该算法于2014年引入,是一种无监督算法,主要原理是将一个“段落向量”添加到Word2Vec模型中
- SentenceBERT:SentenceBERT是一种基于BERT的句子嵌入方法,它通过对BERT进行微调,使其能够生成整个句子的嵌入,而不仅仅是单个词的嵌入
- InferSent:InferSent是Facebook研究院开发的一种句子嵌入方法,它使用深度学习模型(具体来说,是一个双向LSTM网络)来生成句子的嵌入
- Universal Sentence Encoder:Universal Sentence Encoder是Google开发的一种句子嵌入方法,它可以生成高质量的句子嵌入,可以用于各种任务,如文本分类、语义相似性计算等
解决数据规模和偏差的方法主要有以下几种:
-
数据规模
- 获得更多的训练实例:这可以帮助解决高方差的问题
- 数据增强:这是在不实质性的增加数据的情况下,从原始数据加工出更多数据的表示,提高原数据的数量及质量,以接近于更多数据量产生的价值,从而提高模型的学习效果
- 尝试减少特征的数量:这可以帮助解决高方差的问题
- 尝试获得更多的特征:这可以帮助解决高偏差的问题
- 尝试增加多项式特征:这可以帮助解决高偏差的问题
- 尝试减少正则化程度 λ:这可以帮助解决高偏差的问题
- 尝试增加正则化程度 λ:这可以帮助解决高方差的问题
- 数据标准化:数据标准化是通过一定的数学变换方式,将原始数据按照一定的比例进行转换,使之落入到一个小的特定区间内,例如0~1或-1~1的区间内,消除不同变量之间性质、量纲、数量级等特征属性的差异,将其转化为一个无量纲的相对数值,也就是标准化数值,使各指标的数值都处于同一个数量级别上,从而便于不同单位或数量级的指标能够进行综合分析和比较
-
针对隐性仇恨言论的数据集和模型设计主要包括以下几个方面:
数据集
- CHSD数据集:这是一个中文仇恨言论数据集,由信息工程研究所和中国科学院联合构建1。该数据集包含了种族、性别和地区等话题内容2。
- COLD数据集:这是一个中文冒犯性语言检测数据集。该数据集从社交媒体平台(微博和知乎)上抓取发布的真实数据,通过预先定义一些相关的关键词,从原始数据中检索出更多样化的句子
- RoBERTa-CHHSD模型:这是一个基于RoBERTa的中文仇恨言论侦测模型。该模型利用自注意机制(Self-Attention Mechanism)的思想,设计了一种模态间注意力机制以捕获其间的不一致性
- AI“讽刺”检测模型:这是一个由中国北京的信息工程研究所和中国科学院联合研究团队研发的新型多模态AI讽刺检测模型,经过Twitter数据集检测准确率可达到86%