机器翻译与数据集
语言模型是自然语言处理的关键， 而机器翻译是语言模型最成功的基准测试。因为机器翻译正是将输入序列转换成输出序列的 序列转换模型（sequence transduction） 的核心问题。
机器翻译（machine translation） 指的是 将序列从一种语言自动翻译成另一种语言。 事实上，这个研究领域可以追溯到数字计算机发明后不久的20世纪40年代， 特别是在第二次世界大战中使用计算机破解语言编码。 几十年来，在使用神经网络进行端到端学习的兴起之前， 统计学方法在这一领域一直占据主导地位 [Brown et al., 1990, Brown et al., 1988]。 因为 统计机器翻译（statisticalmachine translation） 涉及了 翻译模型和语言模型等组成部分的统计分析， 因此基于神经网络的方法通常被称为 神经机器翻译（neuralmachine translation）， 用于将两种翻译模型区分开来。
本书的关注点是神经网络机器翻译方法，强调的是端到端的学习。 与之前的语料库 是单一语言的语言模型问题存在不同， 机器翻译的数据集是由源语言和目标语言的文本序列对组成的。 因此，我们需要一种完全不同的方法来预处理机器翻译数据集， 而不是复用语言模型的预处理程序。 下面，我们看一下如何将预处理后的数据加载到小批量中用于训练。
import os
import torch
from d2l import torch as d2l
下载和预处理数据集
首先，下载一个由Tatoeba项目的双语句子对 组成的“英－法”数据集，数据集中的每一行都是制表符分隔的文本序列对， 序列对由英文文本序列和翻译后的法语文本序列组成。请注意，每个文本序列可以是一个句子， 也可以是包含多个句子的一个段落。 在这个将英语翻译成法语的机器翻译问题中， 英语是源语言（source language）， 法语是目标语言（target language）。
d2l.DATA_HUB['fra-eng'] = (d2l.DATA_URL + 'fra-eng.zip',
'94646ad1522d915e7b0f9296181140edcf86a4f5')
def read_data_nmt():
"""载入 “英语-法语” 数据集"""
data_dir = d2l.download_extract('fra-eng')
with open(os.path.join(data_dir, 'fra.txt'), 'r', encoding='UTF-8') as f:
return f.read()
raw_text = read_data_nmt() #读取数据集
print(raw_text[:75]) #输出数据集的前75个字符
Go. Va !
Hi. Salut !
Run! Cours !
Run! Courez !
Who? Qui ?
Wow! Ça alors !
下载数据集后，原始文本数据需要经过几个预处理步骤。例如，我们用空格代不间断空格(non-breaking space)，使用小写字母代替大写字母，并在单词和标点符号之间插入空格。
def preprocess_nmt(text):
"""预处理 “英语-法语” 数据集"""
def no_space(char, prev_char):
return char in set(',.!?') and prev_char != ' '
#使用空格替换不间断空格
#使用小写字母替换大写字母
text = text.replace('\u202f', ' ').replace('\xa0', ' ').lower()
#在单词与标点符号之间插入空格
out = [' ' + char if i > 0 and no_space(char, text[i - 1]) else char
for i, char in enumerate(text)]
return ''.join(out)
text = preprocess_nmt(raw_text)
print(text[:80])
go . va !
hi . salut !
run ! cours !
run ! courez !
who ? qui ?
wow ! ça alors !
词元化
在机器翻译中，我们更喜欢单词级词元化(最先进的模型可能使用更高级的词元化技术)。下面的tokenize_nmt函数对前num_examples个文本序列对进行词元，其中每个词元要么是一个词，要么是一个标点符号。此函数返回两个词元列表: source 和 target : source[i]是源语言(这里是英语)第 i i i 个文本序列的词元列表，target[i] 是目标语言(这里是法语)第 i i i 个文本序列的词元列表。
def tokenize_nmt(text, num_examples=None):
"""词元化 “英语-法语” 数据数据集"""
source, target = [], []
for i, line in enumerate(text.split('\n')):
if num_examples and i > num_examples:
break
parts = line.split('\t')
if len(parts) == 2:
source.append(parts[0].split(' '))
target.append(parts[1].split(' '))
return source, target
source, target = tokenize_nmt(text) #初始化源文件、目标文件
source[:6], target[:6]
([['go', '.'],
['hi', '.'],
['run', '!'],
['run', '!'],
['who', '?'],
['wow', '!']],
[['va', '!'],
['salut', '!'],
['cours', '!'],
['courez', '!'],
['qui', '?'],
['ça', 'alors', '!']])
让我们绘制每个文本序列所包含的词元数量的直方图。在这个简单的“英-法”数据集中，大多数文本序列的词元数量少于20个。
def show_list_len_pair_hist(legend, xlabel, ylabel, xlist, ylist):
"""绘制列表长度对的直方图"""
d2l.set_figsize()
_, _, patches = d2l.plt.hist(
[[len(l) for l in xlist], [len(l) for l in ylist]])
d2l.plt.xlabel(xlabel)
d2l.plt.ylabel(ylabel)
for patch in patches[1].patches:
patch.set_hatch('/')
d2l.plt.legend(legend)
show_list_len_pair_hist(['source', 'target'], '# tokens per sequence',
'count', source, target)
词表
由于机器翻译数据集由语言对组成，因此我们可以分别为源语言和目标语言构建两个词表。使用单词级词元化时，词表大小将明显大于使用字符集词元时的词表大小。为了缓解这一问题，这里我们将出现次数少于2词的低频率词元 视为相同的未知(“<unk>”)词元。除此之外，我们还制定了额外的特定词元，例如在小批量时用于将序列填充到相同长度的填充词元(“<pad>”)，以及序列的开始词元(“<bos>”)和结束词元(“<eos>”)。这些特殊词元在自然语言处理任务中比较常用。
src_vocab = d2l.Vocab(source, min_freq=2, reserved_tokens=['<pad>', '<bos>', '<eos>'])
len(src_vocab)
10012
加载数据集
回想一下，语言模型中的序列样本都有一个固定的长度，无论这个样本是一个句子的一部分还是跨越了多个句子的一个片段。这个固定长度是由 num_step(时间步数或词元数量) 参数指定的。在机器翻译中，每个样本都是由源和目标组成的文本序列对，其中的每个文本序列对可能具有不同的长度。
为了提高计算效率，我们仍然可以通过截断（truncation） 和 填充（padding） 方式实现一次只处理一个小批量的文本序列。 假设同一个小批量中的每个序列都应该具有相同的长度num_steps， 那么如果文本序列的词元数目少于num_steps时， 我们将继续在其末尾添加特定的“”词元， 直到其长度达到num_steps； 反之，我们将截断文本序列时，只取其前num_steps 个词元， 并且丢弃剩余的词元。这样，每个文本序列将具有相同的长度， 以便以相同形状的小批量进行加载。
如前所述，下面的 truncate_pad 函数将阶段或填充文本序列。
def truncate_pad(line, num_steps, padding_token):
"""截断或填充文本序列"""
#截断操作
if len(line) > num_steps:
return line[:num_steps]
#填充操作
return line + [padding_token] * (num_steps - len(line))
truncate_pad(src_vocab[source[0]], 10, src_vocab['<pad>'])
[47, 4, 1, 1, 1, 1, 1, 1, 1, 1]
现在我们定义一个函数，可以将文本序列 转换成小批量数据集用于训练。 我们将特定的“<eos>”词元添加到所有序列的末尾， 用于表示序列的结束。 当模型通过一个词元接一个词元地生成序列进行预测时， 生成的“<eos>”词元说明完成了序列输出工作。 此外，我们还记录了每个文本序列的长度， 统计长度时排除了填充词元， 在稍后将要介绍的一些模型会需要这个长度信息。
def build_array_nmt(lines, vocab, num_steps):
"""将机器翻译的文本序列转换为小批量"""
lines = [vocab[l] for l in lines]
lines = [l + [vocab['<eos>']] for l in lines] #每个序列的结尾均为<eos>结束标记
array = torch.tensor([truncate_pad(
l, num_steps, vocab['<pad>']) for l in lines]) #对每个序列再进行填充裁剪操作
#返回长度不为空的有效长度
valid_len = (array != vocab['<pad>']).type(torch.int32).sum(1)
return array, valid_len #返回数组和有效长度列表
训练模型
最后，我们定义 load_data_nmt 函数来返回数据迭代器，以及源语言和目标语言的两种词表。
def load_data_nmt(batch_size, num_steps, num_examples=600):
"""返回翻译数据集的迭代器和词表"""
text = preprocess_nmt(read_data_nmt()) #读取文本信息
source, target = tokenize_nmt(text, num_examples) #将文本信息转化为tokens数组
src_vocab = d2l.Vocab(source, min_freq=2,
reserved_tokens=['<pad>', '<bos>', '<eos>'])
tgt_vocab = d2l.Vocab(target, min_freq=2,
reserved_tokens=['<pad>', '<bos>', '<eos>']) #构建源语言字典，目标语言字典
src_array, src_valid_len = build_array_nmt(source, src_vocab, num_steps)
tgt_array, tgt_valid_len = build_array_nmt(target, tgt_vocab, num_steps) #填充或裁剪语言序列，返回处理后的数组和有效长度
data_arrays = (src_array, src_valid_len, tgt_array, tgt_valid_len) #加载数据数组
data_iter = d2l.load_array(data_arrays, batch_size) #返回批量处理后的迭代器
return data_iter, src_vocab, tgt_vocab #返回数据迭代器、源语言词典、目标语言词典
下面我们读出“英语－法语”数据集中的第一个小批量数据。
train_iter, src_vocab, tgt_vocab = load_data_nmt(batch_size=2, num_steps=8)
for X, X_valid_len, Y, Y_valid_len in train_iter:
print('X:', X.type(torch.int32))
print('X的有效长度:', X_valid_len)
print('Y:', Y.type(torch.int32))
print('Y的有效长度:', Y_valid_len)
break
X: tensor([[16, 51, 4, 3, 1, 1, 1, 1],
[36, 5, 3, 1, 1, 1, 1, 1]], dtype=torch.int32)
X的有效长度: tensor([4, 3])
Y: tensor([[41, 37, 11, 5, 3, 1, 1, 1],
[15, 0, 5, 3, 1, 1, 1, 1]], dtype=torch.int32)
Y的有效长度: tensor([5, 4])
小结
1、机器翻译指的是将文本序列从一种语言自动翻译成另一种语言。
2、使用单词级词元化时的词表大小，将明显大于使用字符级词元化时的词表大小。为了缓解这一问题，我们可以将低频词元视为相同的未知词元。
3、通过截断和填充文本序列，可以保证所有的文本序列都具有相同的长度，以便以小批量的方式加载。
扫一扫
784
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
