Deep Adversarial Subspace Clustering 理解

最新推荐文章于 2024-05-23 10:13:16 发布

邵东恒的技术博客

最新推荐文章于 2024-05-23 10:13:16 发布

阅读量1.5k

点赞数 1

分类专栏： subspace clustering

本文链接：https://blog.csdn.net/shaodongheng/article/details/83001423

版权

subspace clustering 专栏收录该内容

10 篇文章 3 订阅

订阅专栏

Deep Adversarial Subspace Clustering 理解

翻译链接：https://blog.csdn.net/shaodongheng/article/details/82932612

主要理一下过程，仅个人见解。

以上图的模型结构为例：

假设输入的图象集合为 $\mathbf{X}$ ，则通过卷积自动编码器（Encoder）之后得到 $\mathbf{Z}$ ， $\mathbf{Z}$ 作为自我表示层的输入得到输出 $\mathbf{Z}\Theta _{c}$ ， $\Theta _{c}$ 是自我表示层的权重矩阵，即自我表示系数矩阵。同时得到affinity matrix ，然后利用NCut算法和affinity matrix $\mathbf{\Lambda}$ 聚类，得到K个聚类C。

自表示层损失：

$\mathbf{Z}= \left [ z_{1},... ,z_{n} \right ]\in R^{d\times n}$ ，即共n个样本表示，每个样本表示d维。

$\Theta _{c}\in R^{n\times n}$ 是自我表示系数矩阵。

Real data：

聚类 $C_{i}$ $\left ( i=1,... ,K \right )$ 有 $m_{i}$ 个样本，采样层计算聚类 $C_{i}$ 中每个样本的对应到 $S_{i}$ 上的映射残差

$z_{i_{j}}$ 为聚类 $C_{i}$ 中的第 j 个样本的样本表示。然后选择具有较小残差的 $\bar{m}_{\ast }^{i}$ 个“真实”数据， $\bar{m}_{\ast }^{i}$ $=\alpha m_{i} \left ( \alpha \in \left [ 0.8,0.95 \right ] \right )$ 。

Fake data：

对于每个具有 $m_{i}$ 个样本的簇 $C_{i}$ ，采样层先从（0，1]均匀分布中采样 $\bar{m}_{\ast }^{i}$ 个随机向量，然后生成 $\bar{m}_{\ast }^{i}$ 个假数据

$\alpha _{tj}$ 为标量，即向量 $\alpha _{t}$ 的第 j 项， $\alpha _{t}$ 共 $m_{i}$ 项； $z_{i_{j}}$ 为聚类 $C_{i}$ 的第 j 个样本表示， $z_{i}$ 共 $m_{i}$ 个样本表示；该式即表示 $\alpha _{t}$ 的每一项与聚类 $C_{i}$ 中的对应样本表示相乘，并求和（线性组合），从而得到对应的假数据 $\bar{z}_{t}$ ，共得到 $\bar{m}_{\ast }^{i}$ 个假数据。

$U_{i}$ 的初始化：

， $\mathbf{r_{i}}$ 的大小在不同数据集有不同定义。 $U_{i}$ 是鉴别器的参数矩阵。使用簇 $C_{i}$ 中的表示，通过QR分解来计算 $U_{i}$ 。即在由 $z_{i_{j}}$ 构成的特征矩阵上使用QR分解来计算其对应的 $U_{i}$ ，即每个簇 $C_{i}$ 的样本表示矩阵都计算一个 $U_{i}$ ，应该是QR的Q矩阵。 $U_{i}$ 的每一列都服从

$U_{i}$ 的更新和鉴别器损失：

， $\varepsilon$ 是一个小的正参数。

， $\beta _{1}$ 是大于0的常数

， $\beta _{2}$ 是大于0的常数， $\mathbf{I}$ 是单位矩阵

鉴别器最终的训练目标是：

DASC中的鉴别器可以由两个全连接层的K个线性网络实现，即每个聚类对应一个线性网络。此外，在每个网络中，两个层共享它们的参数 $U_{i}$ 。对于输入数据 $z_{j}$ ，第一层和第二层的输出分别是 $U_{i}z_{j}$ 和 $U_{i}U_{i}^{T}z_{j}$ 。通过最小化鉴别器损失，可以学习参数。

生成器损失：

最终的损失函数：

G的最终训练目标是将这种对抗性损失 $\mathfrak{L}_{a}$ 与样本重建损失和自我表示损失相结合（自动编码器，自我表示层，自动解码层都属于生成器）

表示所有的输入样本， $\hat{\mathbf{X}}$ 表示自编码器-解码器对 $X$ 的重构后的表示。这里 $\Theta$ 表示生成器的参数，包括编码器和解码器中的参数，以及自表达层中的表示系数 $\Theta _{c}$ 。第二项表示自动编码器-解码器的重建损失，而后两项对应于等式（2）中的自我表示损失。在 $\Theta _{c}$ 上采用F-范数惩罚。

生成器和鉴别器更新：

在每个时期内异步更新D和G，分别为5次和1次

邵东恒的技术博客

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
Deep Adversarial Subspace Clustering 理解

Deep Adversarial Subspace Clustering 理解翻译链接：https://blog.csdn.net/shaodongheng/article/details/82932612主要理一下过程，仅个人见解。以上图的模型结构为例：假设输入的图象集合为，则通过卷积自动编码器（Encoder）之后得到，作为自我表示层的输入得到输出，是自我表示层的权重矩阵，...
复制链接

扫一扫