[解读] Deep Unsupervised Clustering with Clustered Generator Model

链接: https://arxiv.org/abs/1911.08459v1

本文研究在深度生成网络中嵌入类别隐变量从而实现无监督聚类学习生成模型.

相关的工作

Conditional-VAE (CVAE) [23] 考虑了离散的用于聚类的类别隐变量, 与本文非常相近, 但它是一种监督和半监督学习, 标签是事先给定的. HashGAN [5] 结合了 Pairs of Conditional Wasserstein GAN (PC-WGAN) 和哈希编码的信息, 使用配对的相似信息来生成图像, 遗憾的是这也仅适用于监督和半监督情形下. Adversarial Auto-encoder (AAE) [27] 则可以用于无监督学习, 但它需要额外的网络结构并且计算十分复杂.

Deep Embedded Clustering (DEC)[37] 和 Invariant Information Clustering (IIC) [21] 也是与本文相似的工作, 然而这两种方法学到的隐式表达无法拟合数据分布, 因而泛化性较差.

主要改进

本文主要贡献有两点: (1) 提出一种无监督聚类生成模型, 它包含用于聚类的离散的隐变量和捕获类内样本差异性的连续隐变量. (2) 提出了一种在概率模型中进行的学习算法, 把无监督聚类变成了一个确切的推理步骤, 而不需要辅助模型和其它的估计方法.

传统的生成模型如下:
$$z\sim \mathrm{N}\left(0,I_d\right);x={\mathcal{G}}_{\theta }(z)+ϵ$$
$z$ 是隐变量, 通常维度是较低的. ${\mathcal{G}}_{\theta }(z)$ 表示神经网络生成样本的过程, $ϵ$ 是模型的噪声, 与其他变量独立. 本文引入离散的类别隐变量, 改进为:
$$\begin{array}{rl}z& \sim \mathrm{N}\left(0,I_d\right);y\sim \mathrm{Cat}(\pi )\\ x& ={\mathcal{G}}_{\theta }(z,y)+ϵ\end{array}$$
$\mathrm{Cat}(\pi )$ 是类别分布, 假设类别数为 $K$.

参考

• [5] Yue Cao, Bin Liu, Mingsheng Long, and Jianmin Wang. Hashgan: Deep learning to hash with pair conditional wasserstein gan. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 2, 6
• [21] Xu Ji, Joao F Henriques, and Andrea Vedaldi. Invariant information clustering for unsupervised image classification and segmentation. In Proceedings of the IEEE International Conference on Computer Vision, pages 9865–9874, 2019. 2, 5, 6, 7, 8
• [23] Durk P Kingma, Shakir Mohamed, Danilo Jimenez Rezende, and Max Welling. Semi-supervised learning with deep generative models. In Advances in neural information processing systems, pages 3581–3589, 2014. 1, 2, 3, 4, 6, 7
• [27] Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly, Ian Goodfellow, and Brendan Frey. Adversarial autoencoders. arXiv preprint arXiv:1511.05644, 2015. 2, 6
• [37] Junyuan Xie, Ross Girshick, and Ali Farhadi. Unsupervised deep embedding for clustering analysis. In International conference on machine learning, pages 478–487, 2016. 1, 2, 5, 6

补充知识

Gibbs采样: https://zhuanlan.zhihu.com/p/25072161, https://appsilon.com/how-to-sample-from-multidimensional-distributions-using-gibbs-sampling/

MCMC方法: https://zhuanlan.zhihu.com/p/30003899, https://zhuanlan.zhihu.com/p/37121528

Hamiltonian Monte Carlo: https://blog.csdn.net/qy20115549/article/details/54561643

Gibbs 采样是一种特殊的马尔可夫链算法，常被用于解决包括矩阵分解、张量分解等在内的一系列问题，也被称为交替条件采样（alternating conditional sampling），其中，“交替”一词是指Gibbs采样是一种迭代算法，并且相应的变量会在迭代的过程中交替使用，除此之外，加上“条件”一词是因为Gibbs采样的核心是贝叶斯理论，围绕先验知识和观测数据，以观测值作为条件从而推断出后验分布。

Langevin dynamics http://www.mcmchandbook.net/HandbookChapter5.pdf, https://arxiv.org/abs/1206.1901v1

本人才疏学浅, 如有遗漏或错误之处, 请多多指教!