文章主要实现了以下任务:
给定一个概念和一张图片,模型在图像上生产对应区域的mask。
文章主要实现思路:
- 建立图像特征与word vector之间的映射关系,从而得到attention map
具体方式是:
- 利用PMI生产word vector
- 基础网络(如resnet50)提取图像特征之后进过GAP,然后经过三层 embeding 网络,使embeding结果与word vector距离尽量接近
- 去掉GAP,得到feature map,feature map与word vector求内积,表征对该word的响应图(attention map)
- 一幅图对应多个图像时,求多个word vector的加权平均,权重利用idf求得
- attention map不够精细,所以利用带有bbox的数据进行refine
- 将图像与之前得到的attention map作为输入,训练一个二分类mask 分割模型