论文阅读:Multi-Task Label Embedding for Text Classification


        这篇文章将label embedding 应用到multi-task learning 当中,制造了一个统一的多任务学习框架。并且认为通过给赋予任务的label 语义信息,可以在多任务间进行迁移学习。

        传统的多任务模型有三个缺陷:
            1. 缺少语义信息
            2. 不能灵活添加任务
            3. 不能迁移学习
       本文利用label embedding 可以做到:
            1. 增加标签语义信息,帮助模型更好的分裂
            2. 可以灵活的增加任务,并且分为直接添加 hot-update 和重新训练 cold-update 方式
            3. 利用标签嵌入,将所有分类标签嵌入到同一个语义空间,这样就可以在任务间迁移

模型架构:
            
               这个模型利用两个LSTM,一个用来represent input 另一用来represent 标签。最终做一个                                            匹配。判断预测是够准确。
            

            
实验结果:
        
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值