编解码器如何处理长句子编码问题

统计机器翻译——>神经机器翻译——编解码器如何处理长句子?基于短语的传统方法:
1、神经机器编解码器,始终是先把输入的句子序列处理成一个固定长度的向量。这其中暴露的问题,
其一,要把源句子所包含的信息压缩成固定长度的向量,而且是很多长句子,可能比语料库中的句子多——长句子的灾难问题
其二,如果语料库中长句子没有得到很好的训练,第一性能与速度问题,第二神经网络也是很难处理长句子的

解决办法:
引入一个自动扩展的编码器-解码器模型学习共同调整和翻译每次提出的模型在翻译中生成一个词,
它(软-)搜索源句中最相关信息的一组位置集中。然后,该模型根据相关的上下文向量预测目标词
这些源位置和之前生成的所有目标词。

实现过程:
将原来固定长度的向量,分解为一个个带有序列标志的小向量,在解码的时候,向量序列自动与对应的向量对齐,这也省去编码固定
长度的向量,还可以很好的编码长句子。

软对齐和翻译概率联合模型

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值