实战二十四：Seq2SeqTransformer 机器翻译实战代码详解

最新推荐文章于 2024-06-16 09:53:16 发布

一枚爱吃大蒜的程序员

最新推荐文章于 2024-06-16 09:53:16 发布

阅读量116

点赞数

分类专栏：机器学习实战100例文章标签： Seq2Seq Transformer 机器翻译实战 python

本文链接：https://blog.csdn.net/qiqi_ai_/article/details/131528780

版权

机器学习实战100例专栏收录该内容

45 篇文章 149 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细讲解了如何使用Seq2Seq架构结合Transformer进行机器翻译的实战，通过Python实现，涵盖了模型构建、训练过程及关键代码解读。

摘要由CSDN通过智能技术生成

from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator
from torchtext.datasets import multi30k, Multi30k
from typing import Iterable, List


# pip install torchtext -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

# We need to modify the URLs for the dataset since the links to the original dataset are broken
# Refer to https://github.com/pytorch/text/issues/1756#issuecomment-1163664163 for more info
multi30k.URL["train"] = "https://raw.githubusercontent.com/neychev/small_DL_repo/master/datasets/Multi30k/training.tar.gz"
multi30k.URL["valid"] = "https://raw.githubusercontent.com

了解本专栏