seq2seq模型简介

Seq2Seq模型是n对m结构,包含编码器和解码器,用于从一个句子生成另一个句子。该模型引入了注意力机制,通过上下文向量体现。Transformer和BERT等后续结构深受其影响。编码器通常为双向RNN,解码器则输出结果。训练使用真实标签,评价标准是BLEU分数。
摘要由CSDN通过智能技术生成
  1. 它是一个n对m的结构,包括编码器和解码器结构,从一个句子生成另外一个句子。
  2. 提出了注意力机制,这个注意力机制通过上下文向量来体现。
  3. 后续的transformer 和 bert 结构都继承了seq2seq。

结构说明:

编码器是一个RNN,读取输入句子,可以是双向
解码器: 使用另外一个RNN来输出

运行机制:
编码器的最后一层输出,作为解码器的输入。

训练
用的是真实的label值。

评价翻译结果:
BLEU:考察这个子序列是否出现在标签序列中。

参考链接:https://blog.csdn.net/angus_huang_xu/article/details/115873866

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值