[深度学习论文笔记][IJCAI 17]Beyond Universal Saliency - Personalized Saliency Prediction with Multi-task CNN

[IJCAI 17]Beyond Universal Saliency: Personalized Saliency Prediction with Multi-task CNN

Yanyu Xu, Nianyi Li, Junru Wu, Jingyi Yu, Shenghua Gao

paper link

Motivation

这篇文章针对的问题是显著性检测(saliency detection)中的人眼注意力预测(eye fixation prediction)任务。这篇文章主要有两点贡献：

1. 首先提出人眼注意力是因人而异的，而不应该是如之前的研究认为的不同人的注意力区域是统一的；
2. 提出了一个多任务网络结构框架用以更好地预测个性化的人眼注意力区域。

Personalized Saliency Maps

在本文中，个性化的显著性图简称为PSM(personalized saliency maps)，普适的显著性图成为USM(universal saliency maps)。由于之前此领域的研究和数据库都是基于USM的，本文首先采集了新的显著性数据库，称为PSM Dataset。

PSM数据库共包含1600张图片，20位不同的标注者。采集时标注者坐在屏幕前观察图像，实验人员使用Eyegaze Edge人眼跟踪仪得到眼睛注视到的区域。每位标注者需要重复4次标注过程，每次标注过程中间间隔一周的时间。

在采集注视区域之后，实验人员在注视区域的范围内标注了242类、26100个物体的分割groudn truth。该标注可以用以研究大家对图像中那些特定的物体感兴趣。

PSM Dataset的标注范例如下图所示：

Multi-task CNN

本文中，作者假设一个人的PSM是由USM和与其个体相关联的残差相加得到的。即一个人对图片的关注区域可以建模为共性与个性的相加。为此，作者设计了一个多任务的CNN框架。其中网络的前几层为不同任务共享。之后网络进行分支，分别同时预测USM和不同个体的PSM。其结构示意图如下图所示：

该框架不涉及具体的网络结构，即它可以应用到不同的现有网络结构之上：

可以看到本文提出的框架可以让网络更好地预测个性化的人眼注意力区域。