讲座笔记：图匹配 Graph Matching 问题 | 机器学习&组合优化

讲座信息：

• 主讲人：严骏驰 上海交通大学
• 主办单位：运筹OR帷幄
• 讲座时间：2020年9月9日
• 讲座地点：线上
• 讲座链接：https://www.bilibili.com/video/BV1Zf4y1S7Zr

Inroduction

图有很多相关问题，我们这里针对一类问题进行介绍：图匹配 。

图匹配就是：不仅考虑点之间的配准，还考虑边之间的配准 registration 。

Node-wise linear assignment problem

如上，匹配两个图，一个图有5个点，一个由4个点，我们要做的就是求解出一个5×4的0-1矩阵（组合优化问题），得到点与点间的匹配关系。

我的理解：

• $X$的维度是$5\times 4$
• $1的维度是5\times 1$ 或 $4\times 1$
• 由此，$X1\le 1$与$X^{T}1\le 1$就可以保证$X$的行和列之和都小于1

一个很直接的求解方法是：计算点与点之间的相似度，构造Kp矩阵，然后求解这个规划模型。

Edge-wise graph matching

这个问题的难点在于，我们不仅仅要考虑点与点之间的相似性，还要考虑边与边之间的相似性。

可以看到边的数量明显上升。

如上，我们将点与边作为优化目标，加起来。

我们可以对点和边的关系进行编码，压缩成一个矩阵：affinity matrix 。

如上，对于5点对4点的情况，我们需要5乘4等于20规模的方阵，这样就可以两两编码（1a、1b、…、5d，共20个）。如上，3b行与5c列的交点意味着：3和5连成的边与b和c连成的边的相似度。但是这样K矩阵比较稀疏。

有了这个矩阵，我们将其转换为QAP。

Quadratic Assignment Problem

如上，转化为一个二次问题。注意到，vec 是向量化的意思，就是把 $X_{5\times 4}$ 转化为 $X_{20\times 1}$ 。

这是一个 NP-hard 问题。

所以该如何求解呢？

Spectral Approximation

如上，松弛是一个好办法。求解快，但是得到的解很松弛。

Double-stochastic Approximation

此外，还可以考虑 将X变为连续变量的方式，这样的解可能更紧凑一些。

Beyond: Higher-order models

可否考虑一些高阶信息呢？

如上，在CV领域，3阶代表相似变换的不变性，4阶代表仿射变换的不变性。因此，是否可以将 graph 变为超图（提高阶数）？

但是，这不可行，维度爆炸。

Factorized model

如上，可以考虑进行分解。

如上，可以把大矩阵拆成小矩阵。

总结一下，在机器学习以前，有两个思路解决这个问题：

• 不分解，直接做
• 分解开，然后迭代

然而，在实际问题中，不仅仅是两张图的匹配，我们需要提取信息，并且能做到，多张图协同匹配。

Composition based Affinity Optimization

如上，有一种思想是，如果G1和G2匹配很难，是否可以通过G3作为中介（比如儿子于父母），分别与G1和G2匹配？

Recall over fitting in machine learning

算相似度只是用简单的高斯模型，并且，相似度基于直接从图形提取特征，而图形本身就可能存在噪声。

如上，我们不希望得到红线（一味地最求相似度），而是希望使用类似“正则”的思想，得到鲁棒的结果。

Cycle consistency as regularizer

在多图中，我们提出 consistency 的概念，注意，对于i和j，我们引入第三者第四者等等，用于计算 consistency ，这个值越高越接近1，则匹配效果越好。

于是，我们的目标函数就有了两部分：affinity score 和 consistency 。开始时，consistency 的权重不高，因为匹配效果不怎么样时，计算 consistency 也没用。

我们上述操作（类似正则的思想），都是在目标函数设计有缺陷的假设下的。还可用考虑用机器学习改善目标函数的建模。

Background: Learning on Graph Matching

基本思想：每对边、每队点权重都是相等的，都是1，接下来可以调整这些权重，以此区分重要和不重要的边对、点对。

我们优化的目标就是这些权值，如下图。

如上，Π是对应关系，我们学的是ω。

Learning Graph Structure

于是，这就成为了一个结构化的机器学习问题。

如上图，我们最终学出的，是节点、边的权重。越大、越深，代表权重越大。

Learning Matching Features: Deep Learning of Graph Matching

能否用深度学习拥抱匹配任务？（这篇文章首发）

CNN与谱方法SM提取特征，之后对比一下，然后得到 loss 。但是，问题：SM本身不是做GM的solver，因此只能得出近似解；损失函数有缺陷，仅仅在计算两个对应点在空间中的距离（并不解决我们的匹配需求，匹配不再离得远不远，只在乎有没有配对准）。

Spectral Matching (SM)

简单介绍一下 SM 。

对于两个 Graph ，可以建立 Association Graph ，有一个据类，如图中加粗的线，是可行的匹配，则找到了一个可行解。好处是可以使梯度回传。

Embedding approach for Deep Graph Matching

于是主讲老师团队想着改进。

Learning Combinatorial Embedding Networks for Deep Graph Matching

如上，基础的PIA架构中（对前文工作的改进），使用了匈牙利算法的可求导版本 Sinkhorn 。此外，设计了一个 loss ，实际上就是一个交叉熵。

intra-GNN

交替地对每个点进行更新。“实际上就是GNN”。

对图做完嵌入后，把边信息都压缩到节点上，因此变为了一个只有点的问题，是一个 指派问题 。

Distance Metric

给定两个嵌入的结果$x_i,x_j$，怎么算相似性？

$$s(x_i,x_j)=\exp (x_i^T\mathbf{A}{x}_j)$$

$\mathbf{A}$ 是可学习的权重矩阵。exp保证非负。

Sinkhorn Algorithm

OK，现在有了距离的计算方法，构造非负距离矩阵。那怎么得到最后的匹配结果呢？做交替的 Row-Norm 和 Col-Norm ，直到行和列都是和为 1 为止（收敛到双随机矩阵）。这个过程就是 Sinkhorn Algorithm 。

Permutation Loss

因此，我们现在有了一个可以视为“类别概率”的矩阵，可以进行交叉熵计算。

此外，还有一些改进，如上：

• 第 2 个架构 PCA-GM 用了 Cross-graph GNN ，为了更好协同地对两个图进行 embedding
• 第 3 个架构 IPCA-GM 让迭代 iteratively ，强化了一下效果

效果很好。

Neural Graph Matching Network: Learning Lawler’s Quadratic Assignment Problem with Extension to Hypergraph and Multiple-graph Matching

如上，主要贡献有：

• 针对QAP做了端对端的机器学习
• 扩展到了 hyper-graph matching
• 扩展到了 multi-graph matching

什么是 Lawler’s QAP 呢？就是针对提取后的特征矩阵直接处理，不设计从生图提取特征的过程（没有什么感知层面、CNN层面科学的）。思想：直接在association graph 上做 embedding ，而不是两个图各自做 embedding 。

此外，针对多图，如上图架构图右侧，将两两匹配的结果拼到一起，构成一个大矩阵 joint matching matrix 。

QAPLIB Benchmark

可以看到，在 QAPLIB 做一些实例时，会有超过 baseline 的解（蓝线越低越好，有蓝线突破了虚线）。

Other techniques

如果一个图像里同时出现两个物体，如何以图匹配的方式分出来？

如果用 cut ，如上图，将导致中间一样两只天鹅头被放到一起。讲座信息：

• 主讲人：严骏驰 上海交通大学
• 主办单位：运筹OR帷幄
• 讲座时间：2020年9月9日
• 讲座地点：线上
• 讲座链接：https://www.bilibili.com/video/BV1Zf4y1S7Zr

Inroduction

图有很多相关问题，我们这里针对一类问题进行介绍：图匹配 。

图匹配就是：不仅考虑点之间的配准，还考虑边之间的配准 registration 。

Node-wise linear assignment problem

如上，匹配两个图，一个图有5个点，一个由4个点，我们要做的就是求解出一个5×4的0-1矩阵（组合优化问题），得到点与点间的匹配关系。

我的理解：

• $X$ 的维度是 $5\times 4$
• $1的维度是5\times 1$ 或 $4\times 1$
• 由此，$X1\le 1$ 与 $X^{T}1\le 1$ 就可以保证 $X$ 的行和列之和都小于1

一个很直接的求解方法是：计算点与点之间的相似度，构造Kp矩阵，然后求解这个规划模型。

Edge-wise graph matching

这个问题的难点在于，我们不仅仅要考虑点与点之间的相似性，还要考虑边与边之间的相似性。

可以看到边的数量明显上升。

如上，我们将点与边作为优化目标，加起来。

我们可以对点和边的关系进行编码，压缩成一个矩阵：affinity matrix 。

如上，对于5点对4点的情况，我们需要5乘4等于20规模的方阵，这样就可以两两编码（1a、1b、…、5d，共20个）。如上，3b行与5c列的交点意味着：3和5连成的边与b和c连成的边的相似度。但是这样K矩阵比较稀疏。

有了这个矩阵，我们将其转换为QAP。

Quadratic Assignment Problem

如上，转化为一个二次问题。注意到，vec 是向量化的意思，就是把 $X_{5\times 4}$ 转化为 $X_{20\times 1}$ 。

这是一个 NP-hard 问题。

所以该如何求解呢？

Spectral Approximation

如上，松弛是一个好办法。求解快，但是得到的解很松弛。

Double-stochastic Approximation

此外，还可以考虑 将X变为连续变量的方式，这样的解可能更紧凑一些。

Beyond: Higher-order models

可否考虑一些高阶信息呢？

如上，在CV领域，3阶代表相似变换的不变性，4阶代表仿射变换的不变性。因此，是否可以将 graph 变为超图（提高阶数）？

但是，这不可行，维度爆炸。

Factorized model

如上，可以考虑进行分解。

如上，可以把大矩阵拆成小矩阵。

总结一下，在机器学习以前，有两个思路解决这个问题：

• 不分解，直接做
• 分解开，然后迭代

然而，在实际问题中，不仅仅是两张图的匹配，我们需要提取信息，并且能做到，多张图协同匹配。

Composition based Affinity Optimization

如上，有一种思想是，如果G1和G2匹配很难，是否可以通过G3作为中介（比如儿子于父母），分别与G1和G2匹配？

Recall over fitting in machine learning

算相似度只是用简单的高斯模型，并且，相似度基于直接从图形提取特征，而图形本身就可能存在噪声。

如上，我们不希望得到红线（一味地最求相似度），而是希望使用类似“正则”的思想，得到鲁棒的结果。

Cycle consistency as regularizer

在多图中，我们提出 consistency 的概念，注意，对于i和j，我们引入第三者第四者等等，用于计算 consistency ，这个值越高越接近1，则匹配效果越好。

于是，我们的目标函数就有了两部分：affinity score 和 consistency 。开始时，consistency 的权重不高，因为匹配效果不怎么样时，计算 consistency 也没用。

我们上述操作（类似正则的思想），都是在目标函数设计有缺陷的假设下的。还可用考虑用机器学习改善目标函数的建模。

Background: Learning on Graph Matching

基本思想：每对边、每队点权重都是相等的，都是1，接下来可以调整这些权重，以此区分重要和不重要的边对、点对。

我们优化的目标就是这些权值，如下图。

如上，Π是对应关系，我们学的是ω。

Learning Graph Structure

于是，这就成为了一个结构化的机器学习问题。

如上图，我们最终学出的，是节点、边的权重。越大、越深，代表权重越大。

Learning Matching Features: Deep Learning of Graph Matching

能否用深度学习拥抱匹配任务？（这篇文章首发）

CNN与谱方法SM提取特征，之后对比一下，然后得到 loss 。但是，问题：SM本身不是做GM的solver，因此只能得出近似解；损失函数有缺陷，仅仅在计算两个对应点在空间中的距离（并不解决我们的匹配需求，匹配不再离得远不远，只在乎有没有配对准）。

Spectral Matching (SM)

简单介绍一下 SM 。

对于两个 Graph ，可以建立 Association Graph ，有一个据类，如图中加粗的线，是可行的匹配，则找到了一个可行解。好处是可以使梯度回传。

Embedding approach for Deep Graph Matching

于是主讲老师团队想着改进。

Learning Combinatorial Embedding Networks for Deep Graph Matching

如上，基础的PIA架构中（对前文工作的改进），使用了匈牙利算法的可求导版本 Sinkhorn 。此外，设计了一个 loss ，实际上就是一个交叉熵。

intra-GNN

交替地对每个点进行更新。“实际上就是GNN”。

对图做完嵌入后，把边信息都压缩到节点上，因此变为了一个只有点的问题，是一个 指派问题 。

Distance Metric

给定两个嵌入的结果 $x_i,x_j$，怎么算相似性？

$$s(x_i,x_j)=\exp (x_i^T\mathbf{A}{x}_j)$$

$\mathbf{A}$ 是可学习的权重矩阵。exp保证非负。

Sinkhorn Algorithm

OK，现在有了距离的计算方法，构造非负距离矩阵。那怎么得到最后的匹配结果呢？做交替的 Row-Norm 和 Col-Norm ，直到行和列都是和为 1 为止（收敛到双随机矩阵）。这个过程就是 Sinkhorn Algorithm 。

Permutation Loss

因此，我们现在有了一个可以视为“类别概率”的矩阵，可以进行交叉熵计算。

此外，还有一些改进，如上：

• 第 2 个架构 PCA-GM 用了 Cross-graph GNN ，为了更好协同地对两个图进行 embedding
• 第 3 个架构 IPCA-GM 让迭代 iteratively ，强化了一下效果

效果很好。

Neural Graph Matching Network: Learning Lawler’s Quadratic Assignment Problem with Extension to Hypergraph and Multiple-graph Matching

如上，主要贡献有：

• 针对QAP做了端对端的机器学习
• 扩展到了 hyper-graph matching
• 扩展到了 multi-graph matching

什么是 Lawler’s QAP 呢？就是针对提取后的特征矩阵直接处理，不设计从生图提取特征的过程（没有什么感知层面、CNN层面科学的）。思想：直接在association graph 上做 embedding ，而不是两个图各自做 embedding 。

此外，针对多图，如上图架构图右侧，将两两匹配的结果拼到一起，构成一个大矩阵 joint matching matrix 。

QAPLIB Benchmark

可以看到，在 QAPLIB 做一些实例时，会有超过 baseline 的解（蓝线越低越好，有蓝线突破了虚线）。

Other techniques

如果一个图像里同时出现两个物体，如何以图匹配的方式分出来？

如果用 cut ，如上图，将导致中间一样两只天鹅头被放到一起。