Transformer之机器翻译

已于 2022-05-13 11:02:32 修改
阅读量731 收藏
点赞数 2
文章标签： transformer 机器翻译 深度学习
于 2022-05-13 10:46:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52116434/article/details/124746542
版权

话不多说，上图

那么如何用pytorch搭建一个自己的Transformer并且用到NMT上呢

实现思路：

首先是Encoder层，这个层由多个EncoderBLock组成，

每个block为：Attention + residual + LN + FC + residual + LN

最后得到一个 batch_size,in_seq_len,embedding_dim的矩阵(和初始输入一样)

然后是Decoder层，这个层我们也可以理解为多个DecoderBlock组成，

每个block为：Attention + residual + LN + Attention + residual + LN + FC + residual + LN

因为由于我们做训练的时候，我们给的output是整句话，但是做预测的时候，模型要一个字一个字输出，所以Decoder的Attention存在Mask,所以我们对每个输入都要得到一个Mask矩阵，decoder的mask是为了不能看到未来，encoder的mask是为了去掉pad与单词的联系

那么最后我们也可以得到一个 batch_size,out_seq_len,embedding的矩阵

最后连接一个FC层（embedding,tgt_vocab_size）和softmax，我们就可以得到每一个目标字（词）的概率值，最后计算一下交叉熵损失，值得说的是，比如我们的翻译句子为：你好

那么我们的output应该为：index(BOS) index(你) index(好),

那么算损失的时候我们的目标为：index(你) index(好) index(EOS)

attention原理就不再说明了，相信各位也有一定基础，网上也有很精简的解释

最后给出结果，可能是分词不够精确吧，英文我用的是字母为单位的，中文我用的单个字做单位，数据也是比较少，只用了5000句话做训练(有好的GPU可以试一下用大一点的数据集)，训练了2000轮，所以我感觉我现在训练的模型只是将句子背下来，没有创新能力，用单词作为单位可能会好一点(果然学深度学习确实很吃配置啊！)

上代码

对了如果要训练记得把config的device重新转为cuda就行

通宵睡一宿
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
机器翻译实战（英译汉）Transformer代码学习详解
九筒的博客
05-04 1万+
任务目标 基于Transformer实现英语翻译汉语。如有疏忽请多指教 数据 Hi. 嗨。 Hi. 你好。 Run. 你用跑的。 Wait! 等等！ Hello! 你好。 I try. 让我来。 I won! 我赢了。 Oh no! 不会吧。 Cheers! 乾杯! Got it? 你懂了吗？ He ran. 他跑了。 Hop in. 跳进来。 I lost. 我迷失了。 I quit. 我退出。 I'm OK. 我沒事。 Listen. 听着。 No way! 不可能！ No way! 没门！ Reall
使用Transformer进行机器翻译的构建
junjunzai123的博客
01-05 683
1. 加载数据通过torchtext from torchtext.data.utils import get_tokenizer from torchtext.vocab import build_vocab_from_iterator from torchtext.datasets import Multi30k from typing import Iterable, List # 源语言是德语 SRC_LANGUAGE = 'de' # 目标语言是英语 TGT_LANGUAGE = 'en'
基于transformer的机器翻译
07-06
基于transformer的机器翻译
基于transformer实现机器翻译
lyh_66666的博客
06-17 712
WA2114176李毅恒日中机器翻译模型与Transformer & PyTorch本教程使用Jupyter Notebook、PyTorch、Torchtext和SentencePiece。
Transformer原理与代码精讲（PyTorch）
01-29
Transformer发轫于NLP（自然语言处理），并跨界应用到CV（计算机视觉）领域。目前已成为深度学习的新范式，影响力和应用前景巨大。  本课程对Transformer的原理和PyTorch代码进行精讲，来帮助大家掌握其详细原理和具体实现。  原理精讲部分包括：注意力机制和自注意力机制、Transformer的架构概述、Encoder的多头注意力（Multi-Head Attention）、Encoder的位置编码（Positional Encoding）、残差链接、层规范化（Layer Normalization）、FFN（Feed Forward Network）、Transformer的训练及性能、Transformer的机器翻译工作流程。   代码精讲部分使用Jupyter Notebook对Transformer的PyTorch代码进行逐行解读，包括：安装PyTorch、Transformer的Encoder代码解读、Transformer的Decoder代码解读、Transformer的超参设置代码解读、Transformer的训练示例（人为随机数据）代码解读、Transformer的训练示例(德语-英语机器翻译)代码解读。相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
Transformer代码实现机器翻译示例（注意：Encoder_input，Decoder_input，Decoder_output：训练标签设定）
weixin_43860330的博客
03-14 2352
【代码】Transformer代码实现机器翻译示例（注意：Encoder_input，Decoder_input，Decoder_output：训练标签设定）
理解机器翻译模型 Transformer
nicajonh的博客
06-16 2473
transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃了RNN，而使用各种前馈层堆叠在一起。 Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism层，第二个子层是一个简...
【基于Pytorch实现Transformers机器翻译】
skrrrr__的博客
05-29 443
Transformer实现机器翻译
透彻理解大模型框架：Transformer模型原理详解与机器翻译
zql1009的博客
05-15 9570
已知神经网络权重：W_q, W_k, W_v。
Transformer机器翻译数据集
01-03
Transformer机器翻译数据集是用于训练和评估机器翻译模型的重要资源，尤其在自然语言处理（NLP）领域。Transformer模型由Google的研究团队在2017年提出，它彻底改变了序列到序列学习的范式，成为了现代神经网络翻译...
基于transformer的机器翻译源码.7z
最新发布
06-26
"基于transformer的机器翻译源码"可能包含了实现Transformer模型的Python代码，可能使用了TensorFlow、PyTorch等深度学习框架。源码通常包括数据预处理、模型构建、训练和评估等模块。对于初学者，阅读和理解这些...
PyTorch使用Transformer进行机器翻译
阿正的梦工坊
07-22 1398
使用Torchtext和Spacy进行机器翻译
Transformer代码解读（机器翻译）
sai的学习历程
06-14 969
Transformer代码解读（机器翻译）数据处理（涉及文件prepro.py）数据加载（涉及文件data_load.py）模型构建（涉及文件module.py和model.py） 这里给出代码的github地址（https://github.com/Kyubyong/transformer） 数据处理（涉及文件prepro.py） 代码中给出的数据是使用的是IWSLT2016德语和英语的数据集，如下图所示，（对于linux的用户可以执行shell脚本获取到数据集），对于windows的用户数据下载地址为（
【NLP】第6章 使用 Transformer 进行机器翻译
sikh_0529的博客
09-25 1万+
人类掌握序列转导，将表示转移到另一个对象。我们可以很容易地想象一个序列的心理表征。如果有人说我花园里的花很漂亮，我们可以很容易地想象一个花园里有花。我们看到了花园的图像，尽管我们可能从未见过那个花园。我们甚至可以想象鸟鸣和花香。一台机器必须从零开始用数字表示来学习转导。循环或卷积方法产生了有趣的结果，但尚未达到显着的 BLEU 翻译评估分数。翻译需要将语言A转换为语言B的表示。Transformer模型的self-attention创新增加了机器智能的分析能力。语言A。
Pytorch入门实战（5）：基于nn.Transformer实现机器翻译（英译汉）
热门推荐
zhaohongfei_358的博客
08-05 1万+
本文将使用Pytorch提供的nn.Transformer实现英文到中文的机器翻译任务。对nn.Transformer的讲解，可以参考我的另一篇博文Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解，建议先学习该文的CopyTask任务，然后再来看该篇就容易多了。......
NLP——机器翻译中的Transformer
u013010473的博客
05-25 3260
文章目录框架简介Transformer结构EncoderDecoderScaled Dot-Product AttentionMulti-Head AttentionLayer NormalizationMaskPositional EmbeddingPosition-wise Feed-Forward NetworkTransformer优点 框架 简介 Transformer就是一个升级版的Seq2Seq，也是由Encoder和Decoder组成。Transformer抛弃了以往深度学习任 务使用的C
Transformer具体如何进行机器翻译
To be a better man
05-23 1901
Transformer最具体形象的例子就是做机器翻译了，搞懂这个再去理解其他用Transformer做的下游任务就更方便了，比如时间序列预测，你搞不懂Encoder/Decoder的数据怎么喂进去的，怎么编码的，为什么编码，那不是就有点本末倒置了，基础都没get，现在的文章大部分都是直接给模型理解，没讲清楚整体流程，这篇文章的目的就是讲清楚整个流程。 链接1看Encoder-decoder如何机器翻译这个看懂了，再看森哥的Transformer，再看看官方开源代码，整体概念与实现细节就差不多了，多练，忘了
借助nn.Transformer实现一个简单的机器翻译任务
wulele2的博客
03-23 4485
文章目录前言1、直接上手1.1. 构造transformer对象1.2. 准备前向传播的八个参数1.3. forward2、原理介绍2.1. 直观上介绍2.2. 内部原理介绍总结附 前言   首先贴上nn.Transformer官方介绍。网上有许多关于这个函数的解释，但道理我都懂，具体怎么实战我是一个也没找到。最直观的就是前向传播需要传入下图中的八个参数，具体怎么用，长啥样子着实让人摸不着头脑。因此本人自己实现了一个机器翻译的简单任务。贴上GitHub链接： https://github.com/wulel
【机器翻译】transformer
周红伟讲AI
02-14 360
【机器翻译】transformer 2018-05-01|ML，app，nlp，translation，2. 主流model-研究现状，2. NMT，transformer|3129 本文字数：|阅读时长 ≈ 简介 在2017年5月Facebook发布了ConvSeq2Seq模型吊打了GNMT一个月之后，Google发出了最强有力的反击，发表了一篇论文Attention is all you need，文中提出了一种新的架构叫做Transformer，用...
基于Transformer的机器翻译模型
03-24
基于Transformer的机器翻译模型一种使用Transformer架构进行翻译任务的模型。Transformer是一种基于自注意力机制的神经网络架构，它在机器翻译任务中取得了很大的成功。 Transformer模型由编码器和解码器组成。编码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值