自注意力嵌入（一）：Learning Fragment Self-Attention Embeddings for Image-Text Matching

Motivation

1，现有的策略在测试阶段需要对所有图像-文本对进行两两相似度的计算，且计算方法复杂，在实际应用场景中缺乏效率。(Stacked Cross Attention).

2，我们考虑学习嵌入图像和文本，这两种异构数据模式独立投影到联合空间。

Framework

1，对于Image Embedding的操作:

64 * 36 * 2048 -> 64 * 36 * 256

BertAttention:

    BertSelfAttention:

    1,做一个自注意力转换，16个head，构造一个64 * 16 * 36 * 36的权重矩阵。

    2,除以根号下head_size，然后加上attention_mask(图像全为0，文本不占位的为-10000，占位的为0).

    3,最后一维做一个softmax，做一个dropout(0.1).

    4,权重矩阵乘以value矩阵，最后得到64 * 36 * 256的结果。

    BertSelfOutput: