m0_65710872的博客

原创 NLP实验基于Transformer实现机器翻译

首先，我们选取中日语料（from JParaCrawl）来进行本次实验，下载已经用spm训练好的中文分词器（此处采用的英文分词器进行分词，效果还可以）和日文分词器对文本进行分词和索引映射处理，并对数据集进行训练集和验证集的划分，我们可以使用由JParaCrawl提供的标记器，它是使用日语和英语的句子片段创建的。大多出现的问题是torch库和torchtext库的版本不对导致的，多次修改后才找到合适版本。另外有一点要注意的是，在终端中调整库的版本，代码需要重启内核再次运行才能使用调整后的库的版本。