机器翻译及相关技术（Encoder-Decoder、Sequence to Sequence模型、Beam Search）

最新推荐文章于 2024-01-23 14:54:53 发布
最新推荐文章于 2024-01-23 14:54:53 发布
阅读量883 收藏 2
点赞数
分类专栏： 深度学习 Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44696221/article/details/104333764
版权
本文介绍了机器翻译中Sequence to Sequence模型的工作原理，该模型由编码器和解码器组成，常使用LSTM网络。编码器将输入序列转化为固定长度向量，解码器则负责从该向量还原出目标序列。在模型训练和预测阶段，详细阐述了输入和标签的设置。此外，讨论了简单的贪婪搜索和维特比算法的局限性，重点解析了Beam Search如何通过选取多个最有可能的候选序列来解决语义连贯性问题。
摘要由CSDN通过智能技术生成

机器翻译（MT）以及一些机器人对话问题的特点就是输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同

为了解决这个问题，主要采用的是Sequence to Sequence模型
在这里插入图片描述
模型主要由两个部分组成，一个编码器（encoder）和一个解码器（decoder）。编码器和解码器一般都是由RNN类网络构成，常用LSTM。这是由于使用RNN可以自适应输入输出，这里就不多提了。后面的网络都会以LSTM为例进行说明。

编码器主要指的是将句子编码成一个能够映射出句子大致内容的固定长度的向量
解码器，这里就是将由编码器得到的固定长度的向量再还原成对应的序列数据，一般使用和编码器同样的结构，也是一个RNN类的网络。

实际操作过程会将由编码器得到的定长向量传递给解码器，解码器节点会使用这个向量作为隐藏层输入和一个开始标志位作为当前位置的输入。得到的输出向量能够映射成为我们想要的输出结果，并且会将映射输出的向量传递给下一个展开的RNN节点。

模型训练：
在这里插入图片描述
训练时encoder的输入为英文原始文本对应的词向量
decoder的第一个输入为编码器得到的隐藏向量和开始文本bos，后面是对应正确的文本词向量作为输入

最低0.47元/天 解锁文章
Zed
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【机器翻译】| Encoder-Decoder
可劲不是中二病
03-29 513
out为每个时序单元的输出，形状为(seq_len, batch_size, num_hiddens)， state包含最后一个时间步的隐藏状态和记忆细胞，形状为(num_layers, batch_size, num_hiddens) Encoder需要的是state（作为语义编码），Decoder需要的是output（生成每个时间步的单词） 需要一个Dense层，把 H...
基于Encoder-Decoder模式的机器翻译模型原理及实现
小鹿的爸爸
11-22 8497
基于Encoder-Decoder模式的机器翻译模型原理及实现理论背景代码实现 关键词: Encoder-Decoder, LSTM, WordEmbedding 在机器学习领域，有很多任务是把一种样式的序列映射成另外一种样式的序列，比如把一种语言翻译成另一种语言，把一段语音转换成一段文本，给一段文字生成一句话简介，或者把一张图片转换成一段对图片内容的文字描述等。这些任务都可以看作是Seq2Se...
机器翻译Seq2Seq(Encoder-Decoder)+Attention模型代码实现
彭伟的博客
02-12 3739
1、Encoder-Decoder 在网上大家能够找到很多关于，sequence to sequence模型。简单的来说它就是一个编码器和解码器，用循环神经网络RNN去实现。 在编码端，用RNN对句子进行中间语义表示，得到c后，根据c的表示去进行解码。在机器翻译当中，就是将源端的语言，进行中间表示，然后再解码成目标端的语言。 但是编码端，通常是将源语言编码成一个固定长度的向量。这种做法，在改善效...
多语言机器翻译 | (3) Beam Search
sdu_hao的博客
03-08 627
本篇博客介绍如何使用Encoder-Decoder来预测不定长序列。 假设解码器的输出是一段⽂本序列。设输出⽂本词典(包含特殊符号"")的⼤小为Y ， 输出序列的最大长度为T′T'T′。 所有可能的输出序列一共有O(∣Y∣T′)O(|Y|^{T'})O(∣Y∣T′)种。这些输出序列中所有特殊符号" "后⾯的⼦序列将被舍弃。 文章目录1. 贪婪搜索2. 穷举搜索3. 束搜索4. 总结 1. 贪婪搜索 让我们先来看一个简单的解决⽅案:贪婪搜索(greedy search)。对于输出序列任一时间步t’，我们从|Y
神经网络机器翻译Neural Machine Translation(1): Encoder-Decoder Architecture
热门推荐
Clear.的博客
04-03 2万+
端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻译中的应用，然后介绍NMT中基本的“编码-解码”框架（Encoder-Decoder）。 转载请注明出处：http://blog.csdn.net/u011414416/article/details/
Encoder-Decoder模型笔记1
08-04
Encoder-Decoder模型是深度学习领域，特别是在自然语言处理（NLP）中的一种核心架构，用于序列到序列（sequence-to-sequence）的任务，如机器翻译、文本摘要和对话系统。该模型由两个主要部分组成：编码器（Encoder...
基于深度学习Encoder-Decoder框架的聊天机器人
最新发布
05-08
这种框架特别适合处理序列到序列（Sequence-to-Sequence, Seq2Seq）的任务，如机器翻译、文本摘要和对话生成。以下是一个基于Encoder-Decoder框架的聊天机器人的基本步骤和组件： 1. 数据准备 收集对话数据集，这...
《动手学深度学习》Task04：机器翻译及相关技术+注意力机制与Seq2seq模型+Transformer
01-07
文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq...
Encoder_decoder.zip
08-19
在深度学习领域，Encoder-Decoder模型是一个重要的架构，广泛应用于序列到序列（Sequence-to-Sequence）的学习任务中，如机器翻译、语音识别、文本摘要等。本文将深入探讨Encoder-Decoder模型的原理、实现细节以及其...
Sequence to Sequence 实现机器翻译（keras demo）
6丁儿的猫
11-06 3496
最近在研究对话机器人，刚好看了几篇论文，参考keras demo理解。 原理请参考：- Sequence to Sequence Learning with Neural Networks https://arxiv.org/abs/1409.3215 - Learning Phrase Representations using RNN Encoder-Decoder for S
DL_Notebook 2.2_机器翻译/Encoder-Decoder
pumpkinstay的博客
02-25 344
文章目录机器翻译机器翻译和数据集数据预处理分词建立词典载入数据集 机器翻译 机器翻译和数据集 机器翻译不能直接用循环神经网络来实现，主要困难在于：输出是单词序列而不是单个单词， 输出序列的长度可能与源序列的长度不同。比如 3个 I am Chinese 得映射到 5个 我是中国人。 import os os.listdir('/home/kesci/input/') OUT： [‘fraeng6...
beamsearch学习总结以及代码解读
hxshine的博客
03-31 821
一、总结 【理解】seq2seq中的beam search算法过程：https://zhuanlan.zhihu.com/p/28048246 【理解】如何通俗的理解beam search？：https://zhuanlan.zhihu.com/p/82829880 二、代码 【实现】 How to Implement a Beam Search Decoder for Natural Language Processing: https://machinelearningmastery.com/beam
python Seq2Seq模型源码实战，超详细Encoder-Decoder模型解析实战；早期机器翻译模型源码demo
L_goodboy的博客
01-23 1798
python Seq2Seq模型源码实战，超详细Encoder-Decoder模型解析实战；早期机器翻译模型源码demo
NLP经典论文：Sequence to Sequence、Encoder-Decoder 、GRU 笔记
sinat_39448069的博客
11-23 1592
NLP经典论文：Sequence to Sequence、Encoder-Decoder 笔记《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》
深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习
MebiuW的专栏
10-16 1万+
1 前言这个深度学习，其实是来自每周Paper笔记的整理版，即文章的主要内容其实是我对一篇文章的整理，受限于个人水平，可能很多地方会出现理解偏差、或者理解不到位的地方，所以如果发现什么不对的地方欢迎交流。之前我一直不想发这个博文，因为觉得我水平实在有限，不过现在看来还是不论好坏，拖出来见见光好了。所以这个系列的博文的主要内容是我每周Paper阅读的笔记整理，偶尔穿插着一些实验内容。文章的具体信息我会
自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence模型
m0_38046027的博客
07-19 808
转https://blog.csdn.net/xbinworld/article/details/54605408
《智能时代》[1]
itsxwz
09-11 691
《智能时代》
李宏毅《深度学习》- Transformer
0202zc 的博客
10-22 3152
输入一个序列，输出长度由模型决定。例如语音识别，输入的语音信号就是一串向量，输出就是语音信号对应的文字。但是语音信号的长度和输出的文字个数并无直接联系，因此需要机器自行决定： 对于世界上没有文字的语言，我们可以对其直接做语音翻译。另外，Seq2seq 还可以用来训练聊天机器人：输入输出都是文字（向量序列），训练集示例如下图： 各式各样的NLP问题，往往都可以看作QA问题，例如问答系统（QA），让机器读一篇文章，读入一个问题，就输出一个答案。而该问题就可以用 Seq2seq 的模型来解决：question
Seq2Seq模型解析：Encoder-Decoder网络在机器翻译中的应用
"该资源是关于Encoder-Decoder网络的PPT介绍，主要聚焦于Seq2Seq模型在机器翻译中的应用，以及RNN和LSTM在Encoder-Decoder架构中的发展。内容包括Seq2Seq模型的基本原理，Encoder和Decoder的功能，以及模型训练的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值