ParlAI项目教程：任务与数据集创建指南

ParlAI项目教程：任务与数据集创建指南

ParlAI A framework for training and evaluating AI models on a variety of openly available dialogue datasets. 项目地址: https://gitcode.com/gh_mirrors/pa/ParlAI

概述

ParlAI是一个用于对话AI研究的开源平台，它支持多种对话任务和数据集的加载与创建。本文将详细介绍如何在ParlAI中创建新的任务和数据集，适合希望扩展ParlAI功能的研究人员和开发者。

快速入门：添加新数据集

ParlAI对话格式

ParlAI提供了一种简单的方式来加载文本格式的对话数据集，称为ParlAI Dialog格式。这种格式的特点是：

• 每行代表一个训练示例
• 字段之间用制表符分隔
• 每个字段以字段名加冒号开头

示例格式：

text:你好吗？   labels:我很好，谢谢！
text:今天天气不错  labels:是啊，适合出去走走   episode_done:True

快速加载方法

假设数据保存在/tmp/data.txt文件中，可以使用以下命令查看数据：

python parlai/scripts/display_data.py --task fromfile:parlaiformat --fromfile_datapath /tmp/data.txt

处理训练/验证/测试集分割

为了将数据分为不同的集合，可以创建三个文件：

• mydata_train.txt
• mydata_valid.txt
• mydata_test.txt

然后使用以下命令加载：

python parlai/scripts/display_data.py --task fromfile:parlaiformat --fromfile-datapath /tmp/mydata --fromfile-datatype-extension true

JSON格式支持

ParlAI也支持JSON格式的数据。示例JSON格式：

{
  "dialog": [
    [
      {"id": "user", "text": "你好吗？"},
      {"id": "bot", "text": "我很好，谢谢！"}
    ]
  ]
}

加载JSON数据命令：

python parlai/scripts/display_data.py --task jsonfile --jsonfile-datapath /tmp/data.json

完整任务创建流程

1. 数据准备（build.py）

在parlai/tasks/your_task目录下创建build.py文件，负责下载和准备数据。

示例代码结构：

import parlai.core.build_data as build_data
import os

RESOURCES = [
    DownloadableFile(
        '数据URL',
        '保存文件名',
        '校验和',
        zipped=False,
    )
]

def build(opt):
    dpath = os.path.join(opt['datapath'], '任务名')
    version = None
    
    if not build_data.built(dpath, version_string=version):
        print('[构建数据: ' + dpath + ']')
        build_data.make_dir(dpath)
        
        # 下载数据
        for downloadable_file in RESOURCES:
            downloadable_file.download_file(dpath)
            
        build_data.mark_done(dpath, version_string=version)

2. 创建教师类（agents.py）

ParlAI提供了几种基础教师类，可根据需求选择：

ParlAIDialogTeacher

适用于ParlAI对话格式数据，实现最简单：

class DefaultTeacher(ParlAIDialogTeacher):
    def __init__(self, opt, shared=None):
        opt = copy.deepcopy(opt)
        opt['parlaidialogteacher_datafile'] = _path(opt, '')
        super().__init__(opt, shared)

DialogTeacher

适用于自定义格式数据，需要实现setup_data方法：

class SquadTeacher(DialogTeacher):
    def __init__(self, opt, shared=None):
        opt['datafile'] = os.path.join(opt['datapath'], '数据文件')
        self.id = '任务ID'
        super().__init__(opt, shared)
    
    def setup_data(self, path):
        # 实现数据加载逻辑
        yield {"text": "问题", "labels": ["答案"]}, True

ChunkTeacher

适用于大型数据集，支持流式加载：

class ChunkTeacher(ChunkTeacher):
    def _get_data_folder(self):
        return os.path.join(self.opt['datapath'], '数据目录')
    
    def get_num_samples(self, opt):
        return (总对话数, 总示例数)

3. 添加任务到任务列表

在parlai/tasks/__init__.py中添加新任务，使其可以被ParlAI识别。

高级主题

自定义任务

如果需要创建动态任务或特殊处理逻辑，可以直接继承Teacher类并实现必要方法：

class CustomTeacher(Teacher):
    def __init__(self, opt, shared=None):
        # 初始化逻辑
        pass
    
    def num_examples(self):
        # 返回示例总数
        pass
    
    def num_episodes(self):
        # 返回对话总数
        pass
    
    def get(self, episode_idx, entry_idx=0):
        # 返回特定示例
        return {
            'text': '输入文本',
            'labels': ['正确答案'],
            'episode_done': True
        }

多模态任务

ParlAI支持包含图像等多模态数据的任务。可以在返回的字典中添加image字段：

{
    'text': '描述这张图片',
    'image': '图片路径或ID',
    'labels': ['图片描述']
}

最佳实践

1. 数据预处理：在build阶段完成所有数据预处理工作
2. 内存管理：大数据集使用ChunkTeacher避免内存问题
3. 错误处理：确保setup_data能处理各种边界情况
4. 性能优化：对于频繁访问的数据考虑缓存
5. 格式验证：添加数据格式验证逻辑

总结

本文详细介绍了在ParlAI中创建新任务和数据集的完整流程，从快速加载现有数据到完全自定义任务实现。无论您的数据是简单的对话文本还是复杂的多模态交互，ParlAI都提供了灵活的接口来支持您的AI研究需求。

ParlAI A framework for training and evaluating AI models on a variety of openly available dialogue datasets. 项目地址: https://gitcode.com/gh_mirrors/pa/ParlAI