任务:做两张图之间的关键点匹配
方法:
分为attention和匹配两个部分:
attention:
分为self attention(同一张图所有点计算相似度)和cross attention(两张图的所有点之间计算相似度),如下图:上一行为self attention 下一行为cross attention。
具体计算方式:
表示第i个点的初始embedding特征,表示
表示
l表示多层attention aggregation的层数, 表示奇数层计算self attention 偶数层计算crossattention
的计算
q k v的获取,以cross attention为例:
最终点i的matching descriptors:
最终点i与点j的相似度得分计算:
最终的得分矩阵通过对两张图所有点进行匹配。