这篇文章将label embedding 应用到multi-task learning 当中,制造了一个统一的多任务学习框架。并且认为通过给赋予任务的label 语义信息,可以在多任务间进行迁移学习。
传统的多任务模型有三个缺陷:
1. 缺少语义信息
2. 不能灵活添加任务
3. 不能迁移学习
本文利用label embedding 可以做到:
1. 增加标签语义信息,帮助模型更好的分裂
2. 可以灵活的增加任务,并且分为直接添加 hot-update 和重新训练 cold-update 方式
3. 利用标签嵌入,将所有分类标签嵌入到同一个语义空间,这样就可以在任务间迁移
模型架构:
这个模型利用两个LSTM,一个用来represent input 另一用来represent 标签。最终做一个 匹配。判断预测是够准确。
实验结果: