kweakkk的博客

原创 Task3：基于Transformer解决机器翻译任务 #Datawhale AI夏令营

理清逻辑：这一期引入了transformer架构来解决机器翻译的问题，我个人感觉通俗点说这个架构的逻辑有点像我们做英文阅读理解的时候，即使我们并不能明白文章中的每一个单词，但只要我们掌握了部分关键词就能大概翻译出他们的意思。1.环境配置：和task2一样，除了jieba，sacrebleu和torchtext这三个包，还要安装spacy来分词断句，我感觉如果魔塔平台太慢的话可以转用Google colab来跑。2.数据预处理：define一些功能来读取数据，以及进行分词和构建词汇表。