论文笔记 | Concept Mask：Large-scale Segmentation from semantic concepts

文章主要实现了以下任务：
给定一个概念和一张图片，模型在图像上生产对应区域的mask。

文章主要实现思路：

1. 建立图像特征与word vector之间的映射关系，从而得到attention map
   具体方式是：

• 利用PMI生产word vector
• 基础网络（如resnet50）提取图像特征之后进过GAP，然后经过三层 embeding 网络，使embeding结果与word vector距离尽量接近
• 去掉GAP，得到feature map，feature map与word vector求内积，表征对该word的响应图（attention map）
• 一幅图对应多个图像时，求多个word vector的加权平均，权重利用idf求得

2. attention map不够精细，所以利用带有bbox的数据进行refine
3. 将图像与之前得到的attention map作为输入，训练一个二分类mask 分割模型