零基础学nlp【1】 多任务训练(Multi-task sequence to sequence learning)

零基础学nlp【1】 多任务训练

论文: Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf)

整体思路

多任务训练如图所示,分别是单对多,多对单,多对多。举个例子,在单对多任务训练中,采用相同的encoder不同的decoder,训练encoder的时候交叉使用不同的task对encoder进行训练,可以看做encoder融合了不同task所需的信息。在这样的多任务训练模式下,作者发现通过调节次要task 的mixing ratio(比如主要任务是翻译,每训练100次翻译任务后用文本分析任务训练10次,则mixing ratio是0.1)可以使主要任务在测试集上得到更好的效果。
one-to-many
many-to-one

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值