本文探讨了一种将标签嵌入应用于多任务学习的框架，旨在解决传统多任务模型的语义信息缺乏、任务添加灵活性不足和迁移学习问题。通过使用标签嵌入，模型能够更好地理解和区分任务，同时允许灵活添加任务并实现跨任务迁移。实验结果显示，该方法在多个数据集上均优于单任务模型，特别是在冷更新策略下表现显著，且在与最新模型的对比中，6/8的情况下胜出，平均提升1.5%。文章结构清晰，语言地道，是多任务学习和标签嵌入领域的优秀研究。
这篇文章将label embedding 应用到multi-task learning 当中，制造了一个统一的多任务学习框架。并且认为通过给赋予任务的label 语义信息，可以在多任务间进行迁移学习。
传统的多任务模型有三个缺陷：
1. 缺少语义信息
2. 不能灵活添加任务
3. 不能迁移学习
本文利用label embedding 可以做到：
1. 增加标签语义信息，帮助模型更好的分裂
2. 可以灵活的增加任务，并且分为直接添加 hot-update 和重新训练 cold-update 方式
3. 利用标签嵌入，将所有分类标签嵌入到同一个语义空间，这样就可以在任务间迁移
模型架构：
这个模型利用两个LSTM，一个用来represent input 另一用来represent 标签。最终做一个 匹配。判断预测是够准确。
实验结果：
最低0.47元/天 解锁文章
4931
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
