基于深度学习的Graph Matching中损失函数的理解

最新推荐文章于 2022-11-09 21:34:12 发布

AIWCZ

最新推荐文章于 2022-11-09 21:34:12 发布

阅读量760

点赞数 2

分类专栏：论文阅读笔记文章标签：计算机视觉机器学习 graph

本文链接：https://blog.csdn.net/AIWCZ/article/details/120936813

版权

论文阅读笔记专栏收录该内容

4 篇文章 1 订阅

订阅专栏

本文介绍以下损失函数：
①PermutationLoss
②CrossEntropyLoss
③PermutationLossHung
④OffsetLoss
⑤FocalLoss
⑥InnerProductLoss
⑦HammingLoss
(顺序依照ThinkMatch工程中 src/loss_func.py 的顺序)

OffsetLoss

18年的Deep Learning of Graph Matching将深度学习与Graph Matching进行首次结合，论文中对以往一些方法进行了组合，并着重对Graph Matching训练过程中的反向传播进行了严密的推导，其中采用的损失函数为 OffsetLoss

在这里插入图片描述
其中φ函数形式如下，即对两位移向量(displacement vector)di、di^gt 之差进行度量，得到一标量。
根号下后一项为一极小数，避免X^TX为0，影响训练的稳定性

di、di^gt 由论文中所提出的 Voting layer进行转换，这一layer，在工程中被称作 displacement_layer，也在src目录下。

displacement vector的计算公式：
在这里插入图片描述
对应的代码理解：
①对s进行输出，得到8个10*10的矩阵，8表示batch size的大小，矩阵的大小由source image和target image中节点数决定。（表示两张图各自节点之间的匹配关系）
②对P_src 和 P_tgt进行输出，都得到了(8，10，2)维度的矩阵。

其内容为坐标值？
是的

target值和source值是否存在数据集中？
是，后面的9行暂时不知道是啥
在这里插入图片描述

source得到的point set是否会随着VGG的训练而不断改变？
不会，那VGG是对Pointset中每个点周围的特征进行提取吗？

在这里插入图片描述
③对ns-gt进行输出，得到每一组2GM(Graph Matching)的配对数。
④displacement_layer的代码如下：

if ns_gt is None:  # 如果整个Batch 8组图片(2*8张图片)中存在配对
    max_n = s.shape[1]
    P_src = P_src[:, 0:max_n, :]
    grad_mask = None
else:
    grad_mask = torch.zeros_like(P_src)
    for b, n in enumerate(ns_gt):
        grad_mask[b, 0:n] = 1

d = torch.matmul(s, P_tgt) - P_src
return d, grad_mask

(grad_mask 暂时不知道是啥)

torch.matmul(s, P_tgt)的输出：
维度：(8,10,2)

s的维度 (8,10,10), P_tgt 的维度(8,10,2)

物理意义：利用匹配关系，调整矩阵内坐标的顺序，使其与src的匹配关系对齐。
在这里插入图片描述
最终得到正确匹配关系时的位移向量。
在训练时，还会得到一个预测时的位移向量，OffetLoss就是希望匹配得足够正确，使得两者的位移向量差距最小，是强距离考虑的。因此会出现下面这个问题

在这里插入图片描述马的耳朵都匹配错了，OffetLoss却还很小，因此后续研究者提出了PermutationLoss。

CrossEntropyLoss、PermutationLoss

基于Offset存在的问题，19年相关研究者提出了PermutationLoss，在论文中的全称为：Permutation Cross-Entropy Loss，论文中也提到’Cross entropy loss is adopted to train our model end-to-end’。因此PermutationLoss的核心其实就是一个交叉熵，而计算交叉熵的对象是上一节提到的s矩阵，即配对矩阵(Permutation矩阵)，公式表达如下：

在这里插入图片描述
但两者在工程代码实现中还是有细微区别，从而导致采用这两个loss分别产生的损失量值不同。