- 如果我们现在要做个中英文翻译,比如我是中国人翻译成 ‘i am Chinese’.这时候我们会发现输入有 5个中文字,而输出只有三个英文单词. 也就是输入长度并不等于输出长度.这时候我们会引入一种 编码器-解码器的模型也就是 (Encoder-Decoder).首先我们通过编码器 对输入 ‘我是中国人’ 进行信息编码, 之后将生成的编码数据输入 decoder 进行解码.一般编码器和解码器 都会使用循环神经网络.
- 当然为了使机器知道句子的结束我们会在每个句子后面增加 一个 < e o s > <eos> <
Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
最新推荐文章于 2024-09-25 19:10:42 发布
本文深入探讨机器翻译中的注意力机制和Seq2seq模型,介绍Encoder-Decoder结构,强调输入输出长度不等时的处理方式,以及如何通过束搜索策略优化解码过程。Transformer模型的自注意力层进一步优化了翻译效果,赋予每个单词在预测中的不同权重。
摘要由CSDN通过智能技术生成