Torchtext指南（侧重于NMT）

最新推荐文章于 2023-02-21 17:33:32 发布

weixin_30832351

最新推荐文章于 2023-02-21 17:33:32 发布

阅读量649

点赞数

文章标签：人工智能操作系统

原文链接：http://www.cnblogs.com/helloeboy/p/9882467.html

版权

Torchtext指南（侧重于NMT）

torchtext是一个对于NLP来说非常棒的预处理数据的工具。

本文记录一下自己学习的过程，侧重于NMT。

一个基本的操作流程：

创建Field,定义通用的文本处理操作：

from torchtext import data, datasets
SRC = data.Field(...)
TRG = data.Field(...)

加载你的数据集

train_data, valid_data, test_data = datasets.TranslationDataset.splits(...)

创建词汇表

SRC.build_vocab(train_data.src)
TRG.build_vocab(train_data.trg)

最后生成迭代器进行Batch操作

train_iter = data.BucketIterator(...)
valid_iter = data.BucketIterator(...)

Field

貌似有好几种，对于我自己来说常用的就是：

torchtext.data.Field(sequential=True, use_vocab=True, init_token=None, eos_token=None, fix_length=None, dtype=torch.int64, preprocessing=None, postprocessing=None, lower=False, tokenize=None, tokenizer_language='en', include_lengths=False, batch_first=False, pad_token='<pad>', unk_token='<unk>', pad_first=False, truncate_first=False, stop_words=None, is_target=False)

参数具体详解：

sequential: 是否把数据表示成序列，如果是False, 不能使用分词默认值: True.
use_vocab: 是否使用词典对象. 如果是False 数据的类型必须已经是数值类型. 默认值: True.
init_token: 每一条数据的起始字符默认值: None.
eos_token: EOS 默认值: None.
fix_length: 修改每条数据的长度为该值，不够的用pad_token补全. 默认值: None.
tensor_type: 把数据转换成的tensor类型默认值: torch.LongTensor.
preprocessing:在分词之后和数值化之前使用的管道默认值: None.
postprocessing: 数值化之后和转化成tensor之前使用的管道默认值: None.
lower: 是否把数据转化为小写默认值: False.
tokenize: 分词函数. 默认值: str.split.
include_lengths: 是否返回一个已经补全的最小batch的元组和和一个包含每条数据长度的列表 . 默认值: False.
batch_first: 是否Batch first. 默认值: False.
pad_token: PAD 默认值: "".
unk_token: UNK 默认值: "".
pad_first: 是否补全第一个字符. 默认值: False.

datasets（这里只讲TranslationDataset）

torchtext.datasets.TranslationDataset(path, exts, fields, **kwargs)

path: 两种语言的数据文件的路径的公共前缀
exts: 包含每种语言路径扩展名的tuple
fields: 包含将用于每种语言的Field的tuple
**kwargs: 等等

torchtext.datasets.TranslationDataset.splits(path, exts, fields, **kwargs)

机器翻译的话train, dev, test一般是分开的，这时候就要用splits啦。

classmethod splits(path=None, root='.data', train=None, validation=None, test=None, **kwargs)

path: 两种语言的数据文件的路径的公共前缀
train: train路径
valiadation: dev路径
test: test路径

Iterator

torchtext.data.Iterator

class torchtext.data.Iterator(dataset, batch_size, sort_key=None, device=None, batch_size_fn=None, train=True, repeat=False, shuffle=None, sort=None, sort_within_batch=None)

dataset: 前面定义的dataset
batch_size: batch大小
batch_size_fn: 用来产生动态batch
sort_key: 排序的key w
train: 是不是train data
repeat: 在不在不同的epoch中重复
shuffle: 大打不打乱数据
sort: 是否排序
sort_within_batch: batch内部是否排序
device: cpu or gpu

BucketIterator

class torchtext.data.BucketIterator(dataset, batch_size, sort_key=None, device=None, batch_size_fn=None, train=True, repeat=False, shuffle=None, sort=None, sort_within_batch=None)

定义一个迭代器，将类似长度的示例一起批处理。

减少在每一个epoch中shuffled batches需要padding的量

NMT常用写法

from torchtext import data, datasets

UNK_TOKEN = "<unk>"
PAD_TOKEN = "<pad>"    
SOS_TOKEN = "<s>"
EOS_TOKEN = "</s>"

LOWER = True
MAX_LEN = 30
MIN_FREQ = 10

DEVICE=torch.device('cuda:0')

#Step 1
#一般我用的是已经分好词的数据， 所以tokenize=None
#如果用bpe的话，共享vocab，那就只用一个field就好啦
SRC = data.Field(tokenize=None, 
                 batch_first=True, lower=LOWER, include_lengths=True,
                 unk_token=UNK_TOKEN, pad_token=PAD_TOKEN,
                 init_token=None, eos_token=EOS_TOKEN)
                     
TRG = data.Field(tokenize=None, 
                 batch_first=True, lower=LOWER, include_lengths=True,
                 unk_token=UNK_TOKEN, pad_token=PAD_TOKEN,
                 init_token=SOS_TOKEN, eos_token=EOS_TOKEN)


#Step 2
train_data, valid_data, test_data = datasets.TranslationDataset.splits(
path='./WMT2014_en-de/', train= 'xxx',validation='yyy', test='zzz', exts=('.de', '.en'), fields=(SRC, TRG),
filter_pred=lambda x: len(vars(x)['src']) <= MAX_LEN and len(vars(x)['trg']) <= MAX_LEN)

#Step 3
SRC.build_vocab(train_data.src, min_freq=MIN_FREQ)
TRG.build_vocab(train_data.trg, min_freq=MIN_FREQ)

#Step 4

train_iter = data.BucketIterator(train_data, batch_size=64, train=True, 
                                 sort_within_batch=True, 
                                 sort_key=lambda x: (len(x.src), len(x.trg)), repeat=False,
                                 device=DEVICE)

# 如果用一些未排序的外部文件进行valid，经常有问题。
#为了方便，将batch大小设置为1
valid_iter = data.BucketIterator(valid_data, batch_size=64, train=False, 
                                 sort_within_batch=True, 
                                 sort_key=lambda x: (len(x.src), len(x.trg)), repeat=False,
                                 device=DEVICE)