SpectralNet: Spectral Clustering using Deep Neural Networks

谱聚类 + 深度学习
文章：ICLR 2018
代码：tensorflow实现

模型

原始特征X，低维特征Y，相似度矩阵W。使用神经网络从X学习Y.

限制Y的每个维度互不相关的正交性是为了防止平凡解，比如所有的y收缩到同一个点即可最小化损失。

• QR分解
  使用神经网络从X学习$Y^{\ast }$，再对$Y^{\ast }$进行QR分解得到$Y$
  

优化

坐标下降。交替进行梯度下降和QR分解。
小批量问题。如果批量数据量m太小，那么无法表示整个数据的结构，并且得到编码部分扩展到其他batch时也不满足正交性。因此要扩大小批量，文中设置的小批量是1024。

与谱聚类的联系

目标函数可以改写成如下形式：

Y的取值即为拉普拉斯矩阵的前k个特征向量，因此，学习到的低维特征是对拉普拉斯矩阵特征向量的近似。
因此如果要近似标准化拉普拉斯矩阵的特征向量，损失函数要改写为

算法

1. 孪生网络学习特征间的相似度矩阵；
2. 根据谱聚类目标函数进行学习低维，同时限制正交性；
3. 在低维特征空间执行 K-means 来获得聚类分配。