该研究在ECCV 2018上发表，提出了Stacked Cross Attention机制，通过在共享子空间中使用hard triplet loss，学习到高质量的文本和图像表示，以增强图像和文本之间的相似性计算。它利用ResNet-101的Faster R-CNN提取图像目标区域特征，使用双向GRU处理文本。通过余弦距离和average polling确定相似度，并采用LogSumExp、AVG和Sum-Max等池化方法以及hard triplet loss进行训练，提高了匹配准确性。
ECCV 2018
主要思路：分别对文本和图像应用attention的机制，学习比较好的文本和图像表示，然后再在共享的子空间中利用hard triplet loss度量文本和图像之间的相似性。
图像特征：采用ResNet-101的Faster R-CNN网络对每一个图像产生k个目标区域，提取每一个目标对象的特征，嵌入矩阵变换为h维的vector
文本特征：文本的每一个word得到one-hot vector，embedding后为300维的vector，再用双向GRU得到h维的vector（bi-directional GRU）
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
