Motivation
1,现有的策略在测试阶段需要对所有图像-文本对进行两两相似度的计算,且计算方法复杂,在实际应用场景中缺乏效率。(Stacked Cross Attention).
2,我们考虑学习嵌入图像和文本,这两种异构数据模式独立投影到联合空间。
Framework
1,对于Image Embedding的操作:
64 * 36 * 2048 -> 64 * 36 * 256
BertAttention:
BertSelfAttention:
1,做一个自注意力转换,16个head,构造一个64 * 16 * 36 * 36的权重矩阵。
2,除以根号下head_size,然后加上attention_mask(图像全为0,文本不占位的为-10000,占位的为0).
3,最后一维做一个softmax,做一个dropout(0.1).
4,权重矩阵乘以value矩阵,最后得到64 * 36 * 256的结果。
BertSelfOutput: