极简笔记 Cross-stitch Networks for Multi-task Learning
论文地址: https://arxiv.org/abs/1604.03539
本篇文章研究的问题是不同层级的网络权值共享对multi-task learning的影响,同时在此基础上提出Cross-stitch units(十字绣单元),以实现自动学习最优网络共享结构。
首先,本篇文章在AlexNet的基础上,在不同层级展开task-specific分支,测试任务各自性能。文章采用<属性分类, 检测>和<平面法向量预测, 语义分割>两组直观上有一定相关性的任务对进行多任务学习。实验结果如上图所示,<属性分类, 检测>任务对,无论specific分支在什么层级,都无法同时提高两个任务的性能,说明这组任务对本质存在矛盾,不能用于共同训练。而<平面法向量预测, 语义分割>则在中间部分出现同时提高性能的现象,说明这组任务对相关性大,同时也显示specific分支层级的选择对最终性能有较大影响。
于是接下来文章就提出了cross-stitch unit&