如何安装和使用 unitaryai 的 detoxify 开源项目

如何安装和使用 unitaryai 的 detoxify 开源项目

detoxifyTrained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers. For access to our API, please email us at contact@unitary.ai.项目地址:https://gitcode.com/gh_mirrors/de/detoxify

一、项目的目录结构及介绍

在克隆 unitaryai/detoxify 项目到本地之后，你会看到以下主要的目录及其功能：

• src: 这个目录包含了主要的源代码。

  • data: 包含数据处理和加载的脚本。
  • models: 存放模型定义和训练相关的代码。
  • utils: 辅助工具函数集合。

• notebooks: 提供了一些 Jupyter Notebook 示例来演示如何使用模型进行预测或分析结果。

• tests: 测试代码所在的目录。

• config.yaml: 项目的主要配置文件。

此外还有一些辅助性文件如 README.md, .gitignore 等。

二、项目的启动文件介绍

在 detoxify 中并没有一个单一的“启动”文件，而是有多个脚本和笔记本可以用来执行不同任务。例如:

训练模型

要训练一个新的模型，你可以运行 src/models/train.py 脚本。此脚本读取配置并使用相应的数据集进行训练。

预测

假设你已经有了预训练模型，你可以通过调用 src/models/predict.py 来对新的文本进行预测。这通常用于生产环境中的实时预测或者批处理。

数据处理

src/data/prepare_data.py 可以帮助你准备数据集以便于训练和评估模型。这可能包括清洗、分割以及转换原始数据等步骤。

三、项目的配置文件介绍

config.yaml 是整个项目的配置中心，它控制着许多关键参数，比如数据路径、使用的模型类型、超参数设定等等。修改这个文件能够调整训练过程的各个方面，是调整实验设置时的首要访问点。

在这个 YAML 文件中，常见的配置项包括但不限于:

• model_type: 指定使用的预训练模型名称。
• data_dir: 输入数据所在目录的路径。
• output_dir: 输出（如检查点）将被保存的位置。
• train_batch_size: 训练期间的批次大小。
• num_train_epochs: 完整遍历数据集的次数。

确保在更改任何配置之前先阅读关于各个选项的详细说明，以免误操作导致不期望的结果。

detoxifyTrained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers. For access to our API, please email us at contact@unitary.ai.项目地址:https://gitcode.com/gh_mirrors/de/detoxify