SGPN：代码解析——相似矩阵计算

  本文的目的是解析SGPN代码中由矩阵 ${\mathbf{F}}_{SIM}$（维度为 $N_p\times N_f$)如何得到相似矩阵 $\mathbf{S}$（维度为$N_p\times N_p$）。$S_{i,j}$ 的值是点${\mathbf{P}}_i$和 点${\mathbf{P}}_j$属于相同物体实例的度量。$S_{i,j}$ 越小表示点${\mathbf{P}}_i$和 点${\mathbf{P}}_j$属于相同实例的可能性越大。
  数学分析：
 首先假设$${\mathbf{F}}_{SIM}=\left[\begin{array}{c}{\mathbf{x}}_1^T\\ {\mathbf{x}}_2^T\\ ⋮\\ {\mathbf{x}}_{N_p}^T\end{array}\right]$$  其中 ${\mathbf{x}}_i={\left[\begin{array}{cccc}{x}_{i,1}& x_{i,2}& \cdots & x_{i,N_f}\end{array}\right]}^T$。
  因为
$$\begin{array}{rl}标量S_{i,j}& =\Vert {\mathbf{F}}_{SI{M}_i}-{\mathbf{F}}_{SI{M}_j}{\Vert }_2=\Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }_2\\ & =({\mathbf{x}}_i-{\mathbf{x}}_j{)}^T({\mathbf{x}}_i-{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_i-2{\mathbf{x}}_i^T{\mathbf{x}}_j+{\mathbf{x}}_i^T{\mathbf{x}}_i\end{array}$$  所以
$$\mathbf{S}=\mathbf{A}-\mathbf{B}+\mathbf{C}\text{\hspace{1em}(1)}$$  其中
$$\mathbf{A}={\left[\begin{array}{cccc}{\mathbf{x}}_1^T{\mathbf{x}}_1& {\mathbf{x}}_1^T{\mathbf{x}}_1& \cdots & {\mathbf{x}}_1^T{\mathbf{x}}_1\\ {\mathbf{x}}_2^T{\mathbf{x}}_2& {\mathbf{x}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_2^T{\mathbf{x}}_2\\ ⋮& ⋮& ⋮& ⋮\\ {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}& {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}& \cdots & {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}\end{array}\right]}_{N_P\times N_p}$$
$$\mathbf{C}={\left[\begin{array}{cccc}{\mathbf{x}}_1^T{\mathbf{x}}_1& {\mathbf{x}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}\\ {\mathbf{x}}_1^T{\mathbf{x}}_1& {\mathbf{x}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}\\ ⋮& ⋮& ⋮& ⋮\\ {\mathbf{x}}_1^T{\mathbf{x}}_1& {\mathbf{x}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}\end{array}\right]}_{N_P\times N_p}=A^T$$
$$\mathbf{B}=2\ast {\left[\begin{array}{cccc}{\mathbf{x}}_1^T{\mathbf{x}}_1& {\mathbf{x}}_1^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_1^T{\mathbf{x}}_{N_p}\\ {\mathbf{x}}_2^T{\mathbf{x}}_1& {\mathbf{x}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_2^T{\mathbf{x}}_{N_p}\\ ⋮& ⋮& ⋮& ⋮\\ {\mathbf{x}}_{N_p}^T{\mathbf{x}}_1& {\mathbf{x}}_{N_p}^T{\mathbf{x}}_2& \cdots & {\mathbf{x}}_{N_p}^T{\mathbf{x}}_{N_p}\end{array}\right]}_{N_P\times N_p}={\mathbf{F}}_{SIM}\ast {\mathbf{F}}_{SIM}^T$$  到此理论分析完毕，接下来为代码实现分析，SGPN的github源码是用TensorFlow写的，其中计算相似矩阵$\mathbf{S}$的代码如下：

# Similarity matrix
Fsim = tf_util.conv2d(F, 128, [1, 1], padding='VALID', stride=[1, 1], bn=False, is_training=is_training, scope='Fsim')
 #Fsim shape:BxNx1x128
Fsim = tf.squeeze(Fsim, [2])
 #Fsim shape:BxNx128
r = tf.reduce_sum(Fsim * Fsim, 2)
 #r shape:BxN
r = tf.reshape(r, [batch_size, -1, 1])
#r shape:BxNx1
print(r.get_shape(),Fsim.get_shape())
D = r - 2 * tf.matmul(Fsim, tf.transpose(Fsim, perm=[0, 2, 1])) + tf.transpose(r, perm=[0, 2, 1])

  其中$D$为相似矩阵$S$,代码中的r+ tf.transpose(r, perm=[0, 2, 1])的效果相当于公式（1）中的$A+C$。你可能疑惑r和tf.transpose(r, perm=[0, 2, 1])维度不同怎么能相加呢？针对这个地方我没查到tesorflow怎么对不同维度的向量相加，但是我查着了numpy关于不同维度相加的博客介绍，即如下：
  广播是指不同形状的输足之间执行算数运算额方式。当两个数组的shape不一致时，numpy会实行广播机制。遵循4个原则：
  （1）让所有的输入数组向其中shape最长的数组看齐，shape中不足的部分通过在前面加1补齐。
  （2）输出数组的shape是输入数组shape的各个轴上的最大值。
  （3）如果输入数组的某个轴和输出数组的对应轴的长度相同或者其长度为1，则这个数组能够用来计算，否则出错。
  （4）当输入数组的某个轴的长度为1时，沿着此轴运算时使用此轴上的第一组值。
最后2 * tf.matmul(Fsim, tf.transpose(Fsim, perm=[0, 2, 1]))相当于公式（1）中的$B$。
 到此结束。