《动手学深度学习》 Task4

本文探讨了机器翻译的神经网络方法,重点介绍了Encoder-Decoder和Seq2seq模型在处理不定长序列中的应用。此外,还讲解了注意力机制,包括点积注意力和多层感知注意力,并简要提及了Transformer在现代NLP任务中的重要性。
摘要由CSDN通过智能技术生成

1.机器翻译及相关技术

机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。
主要步骤:
1. 数据预处理
将数据集清洗、转化为神经网络的输入minbatch
2.分词
字符串—单词组成的列表
3.建立词典
单词组成的列表—单词id组成的列表

Encoder-Decoder与Seqtoseq模型

当输入和输出都是不定长序列时,我们可以使用编码器—解码器(encoder-decoder)或者seq2seq模型。两个模型本质上都用到了两个循环神经网络,分别叫做编码器和解码器。编码器用来分析输入序列,解码器用来生成输出序列。


易错习题:
1.
选项4错误的原因为:单词转化为词向量是模型结构的一部分,词向量层一般作为网络的第一层。

解析

2.注意力机制与Seq2seq模型

super()的用法


                
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值