论文阅读笔记 On Mitigating Hard Clusters for Face Clustering (ECCV2022)

On Mitigating Hard Clusters for Face Clustering (ECCV2022)

论文链接

代码链接

Summary

• 本文指出当前人脸聚类算法遇到的核心挑战，即hard clusters的问题，一般指代样本数量少或者稀疏度高的簇，这些簇的识别效果普遍不好
• DPC(Density Peaking Clustering)[1] 聚类算法效果不错，但其效果受point-wise density和pair-wise distance的质量影响，即同样受限于hard clusters问题
• 本文提出NDDe(Neighborhood-Diffusion-based Density)：一种新的点密度计算方法，以及TPDi(Transition-Probability-based Distance)：一种将sparsity考虑在内的距离度量方法，和DPC方法相结合，来共同处理hard clusters问题

Method

1.Constructing Transition Matrix

首先，为每个样本点找到top k个最近邻，对于样本点$x$，则对应构成$[x,x_1,x_2,...,x_k]$的初始特征序列，然后将其输入到Transformer或者GCN网络中，得到更新的特征$[f,f_1,f_2,...,f_k]$，将更新后的特征进行concate之后送入MLP得到$x$与其最近邻属于同一人的概率，即$[p_1,p_2,...,p_k]$，最后做归一化处理，得到文中的Transition Matrix ($N\times N$的稀疏矩阵)。

2. Neighborhood-diffusion-based Density (NDDe)

NDDe，即作者重新定义的点密度。在第一步得到Transition Matrix $\mathbf{P}$之后，定义$\mathbf{L}=\mathbf{I}-\mathbf{P}$为标准化后的graph laplacian，便可得到以下扩散过程：$$\{\begin{array}{l}\frac{\partial }{\partial t}{\rho }_i(t)=-\mathbf{L}{\rho }_i(t)\\ {\rho }_i(0)=1\end{array}$$，最终得到的density为${\rho }_i={\lim }_{t\to \infty }{\rho }_i(t)$。

3. Transition-Probability-based Distance (TPDi)

TPDi，即作者重新定义的样本距离，用来处理簇内稀疏高的问题。同样基于第一步的Transition Matrix $\mathbf{P}$，样本点$i$和$j$之间的距离可被定义为$d_{ij}=1-{\sum }_{c\in C_{ij}}\sqrt{p_{ic}{p}_{jc}}$，其中$C_{ij}$表示样本点$i$和$j$的共同邻居。

在得到更新的density和distance之后，就可以直接代入DPC聚类算法，得到最终的聚类结果。

Comments

• 本文主要关注于hard clusters问题的处理，对应的提出了NDDe和TPDi两个方法，在对比实验中，通过比较不同size/sparsity下cluster的聚类效果，验证了这两个方法确实能够提升hard clusters的聚类效果
• 关于使用的Transfomer模型，对应训练过程的描述细节过少，如果使用GCN，对应的效果如何？

[1] Rodriguez, A., Laio, A.: Clustering by fast search and fifind of density peaks. Science 344(6191), 1492–1496 (2014)