自动寻找如何共享特征层的“十字绣”网络：Cross-stitch Networks for Multi-task Learning

最新推荐文章于 2024-09-01 08:29:05 发布

看_这是一群菜鸟

最新推荐文章于 2024-09-01 08:29:05 发布

阅读量3.8k

点赞数 2

分类专栏：论文解读文章标签：多任务学习深度学习特征共享

本文链接：https://blog.csdn.net/qq_24305433/article/details/80407568

版权

本文提出了一种名为“十字绣”（Cross-stitch）的网络结构，用于多任务学习中的特征共享。通过端对端学习，网络能自动决定不同任务间的共享层。实验表明，Cross-stitch网络在图像语义分割、平面法向量检测等任务上提高了性能，尤其是在数据量较小的类别上效果显著。然而，网络的初始化和学习速率设置仍然是挑战。

摘要由CSDN通过智能技术生成

1、简介

多任务学习是机器学习中重要的一部分，关于多任务学习的更多内容可以去看这篇文章。但是对于应用深度学习进行多任务学习会遇到一个棘手的问题，那就是我们该如何确定网络的共享部分。针对不同的任务，其最佳共享层往往存在不同，其中作者针对使用AlexNet网络分别进行图像检测、图像属性生成及图像语义分割、图像平面法向量（Surface Normal）进行多任务学习，针对两个任务，作者分别从fc8层进行共享，一直测试到两者完全不进行共享的情况。实验结果如图1所示，其中图1（b）部分是不同共享层与完全独立时的效果对比，可以看出对于任务一来说，共享部分在conv4时所能达到的效果，针对于任务二来说，在fc7层的效果最好。因此，针对于不同的多任务学习来说，一般我们需要根据任务需求设计不同的共享层，没有统一的标准。本文就针对这一问题设计了“十指绣”单元，可以通过端对端的学习来自动决定共享层。

图1

2、“十字绣”结构

这篇论文的核心就在这里，设计“十字绣”单元的思想如图2所示，通过在两个网络的特征层之间增加“十字绣”单元可以使网络自动学习到需要共享的特征。其中“十字绣”单元就是一个系数矩阵。其表达式如式（1）所示。从这个公式中可以明显看出，当或值为0时，说明两者没有共享的特征，相反的，当两者的值越大，说明共享部分越大。