推荐：ToxiGen - 面向隐性与对抗性仇恨言论检测的大型机器生成数据集

推荐：ToxiGen - 面向隐性与对抗性仇恨言论检测的大型机器生成数据集

去发现同类优质开源项目:https://gitcode.com/

项目介绍

ToxiGen是一个创新性的开源项目，旨在通过大规模机器生成的数据集，推动隐性和对抗性仇恨言论的检测技术的发展。该项目由ALICE工具支持，可以对现有的内容审核系统进行压力测试和迭代优化，重点关注13个少数群体的隐性有毒语句。

项目技术分析

ToxiGen包含两种核心方法：

1. 示范引导提示（Demonstration-Based Prompting）：利用预训练的大规模语言模型（如GPT3），基于人类提供的针对不同少数群体的提示来生成更多数据。
2. ALICE：在预训练语言模型和毒性分类器之间建立对抗性环境，生成挑战性示例以提升分类器性能。

项目还提供两种预训练的仇恨言论检测模型——HateBERT_ToxiGen 和 RoBERTa_ToxiGen，它们在ToxiGen数据集上经过微调，展现出显著的性能提升。

应用场景

ToxiGen适用于训练能够识别无明显辱骂词汇的微妙仇恨言论的分类器。它可应用于社交媒体监控、在线论坛管理、内容安全领域等，帮助减少对少数群体的隐性歧视和恶意言论。

项目特点

1. 多样性：涵盖13个少数群体，以及从良性到隐性有毒的广泛语料。
2. 对抗性学习：通过ALICE实现模型和生成器之间的动态博弈，提高检测准确度。
3. 开放源代码：鼓励社区贡献，持续扩展数据集和应用场景。
4. 便捷使用：通过HuggingFace平台轻松下载数据，并提供Python接口进行安装和使用。

获取ToxiGen

访问此网页或通过Python代码下载数据集。要使用源代码，可以通过pip install toxigen安装。此外，项目提供了Jupyter Notebook样例，方便快速入门。

ToxiGen是AI伦理和负责任研究的一个重要步骤，它提醒我们，虽然机器学习在检测有害内容方面有很大潜力，但还需不断迭代和完善，以适应复杂多变的语言环境。参与并贡献于ToxiGen，让我们共同努力，构建更加包容和安全的网络空间。

去发现同类优质开源项目:https://gitcode.com/