[深度学习论文笔记][IJCAI 17]Beyond Universal Saliency - Personalized Saliency Prediction with Multi-task CNN

[IJCAI 17]Beyond Universal Saliency: Personalized Saliency Prediction with Multi-task CNN

Yanyu Xu, Nianyi Li, Junru Wu, Jingyi Yu, Shenghua Gao

paper link

Motivation

这篇文章针对的问题是显著性检测(saliency detection)中的人眼注意力预测(eye fixation prediction)任务。这篇文章主要有两点贡献：

1. 首先提出人眼注意力是因人而异的，而不应该是如之前的研究认为的不同人的注意力区域是统一的；
2. 提出了一个多任务网络结构框架用以更好地预测个性化的人眼注意力区域。

Personalized Saliency Maps

在本文中，个性化的显著性图简称为PSM(personalized saliency maps)，普适的显著性图成为USM(universal saliency maps)。由于之前此领域的研究和数据库都是基于USM的，本文首先采集了新的显著性数据库，称为PSM Dataset。

PSM数据库共包含1600张图片，20位不同的标注者。采集时标注者坐在屏幕前观察图像，实验人员使用Eyegaze Edge人眼跟踪仪得到眼睛注视到的区域。每位标注者需要重