论文笔记:Twin Learning for Similarity and Clustering: A Unified Kernel Approach

学长发来推荐看的一篇论文，读后学习到了其中对核函数的应用以及论文的写作。

Abstract

• 基于相似度的聚类通常基于两个独立的步骤，包括构建相似度矩阵和后续的谱聚类；
• 由于度量标准、临近点尺寸、数据规模和噪声等，衡量相似度是一个不易解决的问题，这导致学到的相似度矩阵经常是不合适的；
• 此外，现实世界数据经常存在非线性的相似度，这点并没有被现有的一些方法考虑到；
• 为了解决这两个问题，本文通过条理化的方法提出了一个模型来同时学习核空间中的聚类指示矩阵和相似度信息；
• 本文将展示与核kmeans、kmeans及谱聚类在原理上的联系；
• 本文通过结合多重核学习能力来拓展了提出的模型，以此解决针对特定的任务如何选择最合适的核的问题，避免了搜索最佳内核；
• 通过这样的联合模型，可以自动地解决三个子任务，即寻找最优的聚类指示矩阵、计算出最准确的相似关系、最优的多重核组合；
• 通过在联合框架中利用这三个子任务之间的相互作用，每个子任务都可以独立地进行优化，实验证明了本文提出的方法的效果。

Introduction

• kmeans无法识别任意形状的聚类，而核kmeans可以捕捉数据集中隐藏的非线性结构信息，但是基于内核的方法很大程度上受到内核选择的影响；
• 基于相似性的谱聚类方法通常表现出比kmeans算法更好的性能，但是如度量标准，邻域大小和数据规模等会影响到性能；
• 自我表达方法通过用其他数据点来表示每个数据点，可以从数据自动地学到相似度信息，这种方法不仅可以揭示低维结构，还对噪声和数据规模具有鲁棒性。

Contributions

采用了“express itself”的方法，提取数据的全局结构，并可以扩展到内核空间；

• 通过施加拉普拉斯秩约束来同时学习相似度矩阵和聚类指标，通过利用学习相似性和聚类指标之间的内在相互作用，本文提出的模型将它们无缝地集成到一个联合框架中，其中一个任务的结果用于改进另一个任务；
• 本文直接在核空间中开发模型，因此能够探索非线性关系，同时设计了一种有效的算法来找到模型的最优解；
• 用于特定任务的最合适的内核通常是事先未知的，因此提出了一个多核算法对模型进行了优化。

Clustering with Single Kernel

• 根据自我表达方法(express itself):$$x_i\approx \sum _j{X}_j{z}_{ij},s.t.Z_i^{T}1=1,0\le z_{ij}\le 1$$在上式的基础上，有：$$\begin{gathered} \underset{Z}{\min }{\Vert X-XZ\Vert }_F^2+\alpha {\Vert Z\Vert }_F \\ s.t.Z^{T}1=1,0\le Z\le 1 \end{gathered}$$
• 上式的缺点是它假定样本之间的关系都是线性的，为了恢复数据点之间的非线性关系，本文将上式拓展到内核空间(参考 [A general kernelization framework for learning algorithms based on kernel PCA])；
• 将$\varphi :{\mathcal{R}}^{\mathcal{D}}\to \mathcal{H}$定义为将数据样本从输入空间映射到再生核Hilbert空间$\mathcal{H}$的核，对于包含n个样本的$X\in [X_1,...,X_n]$，变换为$\varphi (X)=[\varphi (X_1),...,\varphi (X_n)]$。数据样本$X_i$与$X_j$之间的核相似性通过预定义的内核定义为$K_{X_i,X_j}=<\varphi (X_i),\varphi (X_j)>$。
  -因此，所有的相似性都可以使用和函数专门计算，而且不需要知道变换$\varphi$，这被称为内核技巧，它在内核预先计算时极大地简化了内核空间中的计算。因此目标函数变为：$$\begin{gathered} \underset{Z}{\min }Tr(K-2KZ+Z^{T}KZ)+\alpha {\Vert Z\Vert }_F \\ s.t.Z^{T}1=1,0\le Z\le 1 \end{gathered}$$
• 通过解决上式，可以学得$\varphi (X)$的线性稀疏关系，从而得到X之间的非线性关系。如果使用线性核，则还是未拓展到内核空间的式子。
• L为Z的拉普拉斯矩阵，加入秩约束：$$\begin{gathered} \underset{Z}{\min }Tr(K-2KZ+Z^{T}KZ)+\alpha {\Vert Z\Vert }_F \\ s.t.Z^{T}1=1,0\le Z\le 1,rank(L)=n-c \end{gathered}$$
• 和其他工作类似，引入一个$\sigma$函数来解决秩约束的优化求解问题：$$\begin{gathered} \underset{Z}{\min }Tr(K-2KZ+Z^{T}KZ)+\alpha {\Vert Z\Vert }_F+\beta \sum _{i=1}^c{\sigma }_i(L) \\ s.t.Z^{T}1=1,0\le Z\le 1 \end{gathered}$$
• 进而转化为：$$\begin{gathered} \underset{Z,P}{\min }Tr(K-2KZ+Z^{T}KZ)+\alpha {\Vert Z\Vert }_F+\beta Tr(P^{T}LP) \\ s.t.Z^{T}1=1,0\le Z\le 1,P^{T}P=I \end{gathered}$$

Optimization Algorithm

• 采用交替优化的策略，当Z固定的时候，目标函数变为：$$\underset{P^{T}P=I}{\min }Tr(P^{T}LP)$$通过对应于c个最小特征值的L的特征向量获得最优解P(谱聚类中常见)。
• 当P固定的时候，目标函数按列重新表示为：
  $$\begin{gathered} \underset{Z_i}{\min }{K}_{ii}-2K_{i,:}{Z}_i+Z_i^{T}K{Z}_i+\alpha Z_i^T{Z}_i+\frac{\beta }{2}{d}_i^T{Z}_i, \\ s.t.Z_i^{T}1=1,0\le z_{ij}\le 1 \end{gathered}$$其中$d_i^T={\Vert P_{i,:}-P_{j,:}\Vert }^2{z}_{ij}=Tr(P^{T}LP)$，这是由${\sum }_{i,j}\frac{1}{2}{\Vert P_{i,:}-P_{j,:}\Vert }^2{z}_{ij}=Tr(P^{T}LP)$得到的。
• 上式可以进一步简化为：$$\begin{gathered} \underset{Z_i}{\min }{Z}_i^T(\alpha I+K)Z_i+(\frac{\beta d_i^T}{2}-2K_{i,:})Z_i, \\ s.t.Z_i^{T}1=1,0\le z_{ij}\le 1 \end{gathered}$$这样就转化成了二次规划(QP)问题，易于求解。

Clustering with Multiple Kernels

• 使用映射$\tilde{\varphi }(X)=[\sqrt{w_1}{\varphi }_1(X_1),...,\sqrt{w_r}{\varphi }_r(X_n)]$构造增强的Hilbert空间，核相似性变为：$$K_w(x,y)=<{\varphi }_w(X),{\varphi }_w(X)>=\sum _{i=1}^r{w}_i{K}^i(x,y)$$
• 目标函数变为：$$\begin{gathered} \underset{Z,P,w}{\min }Tr(K_w-2K_{w}Z+Z^T{K}_{w}Z)+\alpha {\Vert Z\Vert }_F+\beta Tr(P^{T}LP) \\ s.t.Z^{T}1=1,0\le Z\le 1,P^{T}P=I, \\ {K}_w=\sum _{i=1}^r{w}_i{K}^i,\sum _{i=1}^r\sqrt{w_i}=1,w_i\ge 0 \end{gathered}$$然后交替进行优化。（这里用${\sum }_{i=1}^r\sqrt{w_i}=1$而不是${\sum }_{i=1}^r{w}_i=1$，我的理解是 求得$K_w(x,y)$的时候，核函数$\sqrt{w}{\varphi }_w(X)$与$\sqrt{w}{\varphi }_w(X)$有相乘的关系）

Optimization

• 优化Z和P的时候，和单视角一样。
• 优化w时，将目标函数写为$$\underset{w}{\min }\sum _{i=1}^r{w}_i{h}_{i}s.t.\sum _{i=1}^r\sqrt{w_i}=1,w_i\ge 0$$
  其中$$h_i=Tr(K^i-2K^{i}Z+Z^T{K}^{i}Z)$$
• 通过利用拉格朗日函数的KKT条件和约束条件，w的解为：$w_i=(h_i{\sum }_{j=1}^r\frac{1}{h_j}{)}^{-2}$

Experiments

• 实验时设计了12个核，并将数据通过将每个元素除以最大的成对平方距离来进行预处理。可以看到，本文提出的SCSK单核方法效果很好，SCMK多核效果更好，甚至jaffe数据集达到了100%。
• 让α在{1e-5,1e-4,1e-3,0.01,0.1,1,10,100}范围内变化，让β在{1e-6,1e-5}范围内变化，可以看出对α很稳定，对β值更敏感。（怎么感觉对这两个参数都不怎么鲁棒啊 ==|）