论文笔记---Adversarial Learning for Robust Deep Clustering

小葵向前冲

已于 2022-04-12 10:08:38 修改

阅读量874

点赞数

分类专栏：论文文章标签：聚类网络机器学习深度学习人工智能

于 2021-06-22 16:33:24 首次发布

本文链接：https://blog.csdn.net/weixin_44177594/article/details/117825819

版权

11 篇文章 0 订阅

订阅专栏

introduction

以前的工作：K-means ------- 谱聚类 ------- 子空间聚类

深度聚类：将embedding和聚类作为一个单一的过程来获得最优嵌入(或表示)空间的聚类。

现有的大部分深度聚类方法都是尽量减少重构损失，使目标嵌入空间更具分辨力，因为嵌入空间直接决定了聚类的质量，但是自编码器网络使用的重构耗损不能充分感知对抗性扰动。

this paper：

输入： $=\begin{Bmatrix} x_1, x_2,...,x_n \end{Bmatrix}$ , 嵌入特征： $=\begin{Bmatrix} z_1, z_2,...,z_n \end{Bmatrix}$
$z_i\in \mathbb{R}^d$ 通过嵌入网络E学习，另一方面用于重构原始样本 $x$
聚类函数 $z\rightarrow y\in \mathbb{R}^K$ , K为聚类总数， $\begin{Bmatrix} y_1,....y_n \end{Bmatrix}$ 保留最终聚类结果。

网络结构：

$x\leftrightharpoons z\rightarrow y$

损失函数（通过相对熵（KL散度）最小化共同优化）：在这里插入图片描述
引入生成模型：

在这里插入图片描述

对抗性攻击的目的是：使受扰特征与干净特征相似，重构样本差异较小，但使相应的聚类结构相差较大。对抗性攻击学习的损失可以定义为：

我们最终希望由扰动特征生成的样本及其聚类结构应该与干净样本的聚类结构完全一致。

因此，将聚类结构与重构样本相结合，得到新的特征映射，并采用鉴别器（参数为 $\psi$ ）来识别（x，y）与z之间的互信息：
在这里插入图片描述

同时，需要增加重构之后的（ $\tilde{x},y$ ）与z的相关性。
在这里插入图片描述

利用鉴别器优化 $\hat{z}$ 和 $(\hat{x},y)$ 以及负数据对( $\tilde{x_t},y_t$ ). $\tilde{x}$ 是经过decoder重构的x
同样，构建了 $z和（\hat{x}, \hat{y}）$ 之间的相关性。
$L_c$ 是原始深度聚类方法的目标函数，包含该方法以保证聚类网络的基本性能。 $L_c$ 随着集群模型的更改而更改。