[NLP] TorchText 使用指南

TorchText 是 PyTorch 的一个功能包，主要提供文本数据读取、创建迭代器的的功能与语料库、词向量的信息，分别对应了 torchtext.data、torchtext.datasets 和 torchtext.vocab 三个子模块。本文参考了三篇文章。

1. 语料库 torchtext.datasets

TorchText 内建的语料库有：

• Language Modeling
  • WikiText-2
  • WikiText103
  • PennTreebank
• Sentiment Analysis
  • SST
  • IMDb
• Text Classification
  • TextClassificationDataset
  • AG_NEWS
  • SogouNews
  • DBpedia
  • YelpReviewPolarity
  • YelpReviewFull
  • YahooAnswers
  • AmazonReviewPolarity
  • AmazonReviewFull
• Question Classification
  • TREC
• Entailment
  • SNLI
  • MultiNLI
• Machine Translation
  • Multi30k
  • IWSLT
  • WMT14
• Sequence Tagging
  • UDPOS
  • CoNLL2000Chunking
• Question Answering
  • BABI20
• Unsupervised Learning
  • EnWik9

2. 预训练的词向量 torchtext.vocab

TorchText 内建的预训练词向量有：

• charngram.100d
• fasttext.en.300d
• fasttext.simple.300d
• glove.42B.300d
• glove.840B.300d
• glove.twitter.27B.25d
• glove.twitter.27B.50d
• glove.twitter.27B.100d
• glove.twitter.27B.200d
• glove.6B.50d
• glove.6B.100d
• glove.6B.200d
• glove.6B.300d

3. 数据读取、数据框的创建 torchtext.data

3.1 创建 Field

Field 可以理解为一个告诉 TorchText 如何处理字段的声明。

torchtext.data.Field(sequential=True, use_vocab=True, init_token=None, eos_token=None, fix_length=None, dtype=torch.int64, preprocessing=None, postprocessing=None, lower=False, tokenize=None, tokenizer_language='en', include_lengths=False, batch_first=False, pad_token='<pad>', unk_token='<unk>', pad_first=False, truncate_first=False, stop_words=None, is_target=False)

参数很多，这里仅仅介绍主要参数：

• sequential：是否为已经被序列化的数据，默认为 True；
• use_vocab：是否应用词汇表。若为 False 则数据应该已经是数字形式，默认为 True；
• init_token：序列开头填充的 token，默认为 None 即不填充；
• eos_token：序列结尾填充的 token，默认为 None 即不填充；
• lower：是否将文本转换为小写，默认为 False；
• tokenize：分词器，默认为 string.split；
• batch_first：batch 是否在第一维上；
• pad_token：填充的 token，默认为 “”；
• unk_token：词汇表以外的词汇的表示，默认为 “”；
• pad_first：是否在序列的开头进行填充；默认为 False；
• truncate_first：是否在序列的开头将序列超过规定长度的部分进行截断；默认为 False；
• stop_words：是否过滤停用词，默认为 False；
• is_target：这个 Field 是否为标签，默认为 False。

tokenize 可以使用 SpaCy 的分词功能，使用以前要先构建分词功能：

import spacy
spacy_en = spacy.load('en')
def tokenizer(text):
	return [token for toekn in spacy_en.tokenizer(text)]

spacy 分词的效果比原生的 split 函数好一点，但是速度也慢一些。然后可以创建对应文本的 Field 了：

TEXT = data.Field(sequential=True, tokenize=tokenizer, lower=True) # 假设文本为 raw data
LABEL = data.Field(sequential=False, use_vocab=False) # 假设标签为离散的数字变量

3.2 创建 Dataset

如果文本数据保存在 csv、tsv 或 json 文件中，我们优先使用 torchtext.data.TabularDataset 进行读取。

torchtext.data.TabularDataset(path, format, fields, skip_header=False, csv_reader_params={}, **kwargs)

• path：数据的路径；
• format：文件的格式，为 csv、tsv 或 json；
• fields：上面已经定义好的 Field；
• skip_header：是否跳过第一行；
• csv_reader_params：当文件为 csv 或 tsv 时，可以自定义文件的格式。

例子：

train, val = data.TabularDataset.splits(
        path='.', train='train.csv',validation='val.csv', format='csv',skip_header=True,
        fields=[('PhraseId',None),('SentenceId',None),('Phrase', TEXT), ('Sentiment', LABEL)])

test = data.TabularDataset('test.tsv',
        format='tsv',skip_header=True,
        fields=[('PhraseId',None),('SentenceId',None),('Phrase', TEXT)])

上面的例子说，'PhraseId' 和 'SentenceId' 不读取（Field 为 None），'Phrase' 以 TEXT 的方式进行读取，'Sentiment' 以 LABEL 的方式进行读取。

3.3 建立词汇表

现在我们需要将词转化为数字，并在模型中载入预训练好的词向量。词汇表存储在之前声明好的 Field 里面。

TEXT.build_vocab(train_data, # 建词表是用训练集建，不要用验证集和测试集
                  max_size=400000, # 单词表容量
                  vectors='glove.6B.300d', # 还有'glove.840B.300d'已经很多可以选
                  unk_init=torch.init.xavier_uniform # 初始化train_data中不存在预训练词向量词表中的单词
)

# 在神经网络里加载词向量
pretrained_embeddings = TEXT.vocab.vectors
model.embedding.weight.data.copy_(pretrained_embeddings)
UNK_IDX = REVIEW.vocab.stoi[REVIEW.unk_token]
PAD_IDX = REVIEW.vocab.stoi[REVIEW.pad_token]
# 因为预训练的权重的unk和pad的词向量不是在我们的数据集语料上训练得到的，所以最好置零
model.embedding.weight.data[UNK_IDX] = torch.zeros(EMBEDDING_DIM)
model.embedding.weight.data[PAD_IDX] = torch.zeros(EMBEDDING_DIM)

3.4 创建迭代器

迭代器推荐使用 BucketIterator，因为它会将文本中长度相似的序列尽量放在同一个 batch 里，减少 padding，从而减少计算量，加速计算。

torchtext.data.BucketIterator(dataset, batch_size, sort_key=None, device=None, batch_size_fn=None, train=True, repeat=False, shuffle=None, sort=None, sort_within_batch=None)

• dataset：目标数据；
• batch_size：batch 的大小；
• sort_key：排序的方式默认为 None；
• device：载入的设备，默认为 CPU；
• batch_size_fn：取 batch 的函数，默认为 None；
• train：是否为训练集，默认为 True；
• repeat：在不同的 epoch 中是否重复相同的 iterater，默认为 False；
• shuffle：在不同的 epoch 中是否打乱数据的顺序，默认为 None；
• sort：是否根据 sort_key 对数据进行排序，默认为 None；
• sort_within_batch：是否根据 sort_key 对每个 batch 内的数据进行降序排序。

举例：

train_iter, val_iter = data.BucketIterator.split((train, val), batch_size=128, sort_key=lambda x: len(x.Phrase), 
                                 shuffle=True,device=DEVICE)

# 在 test_iter , sort一定要设置成 False, 要不然会被 torchtext 搞乱样本顺序
test_iter = data.Iterator(dataset=test, batch_size=128, train=False,
                          sort=False, device=DEVICE)