qq_43497436的博客

此外，对于固定的计算预算，这种分层的线性公式允许我们构建更深入的模型，这种实践已知可以提高许多领域的建模能力。公式1依赖于，图中所有连接的结点都是相似的，并且共享同样的标签。一个基于图卷积的神经网络，通过堆叠多个卷积层构成，卷积层的卷积公式为公式5，每一层都是逐点非线性的计算。1. 引入了一个简单且有效的，针对神经网络模型的逐层传播规则，该规则直接在图上操作，并且展示如何从谱图卷积的一阶近似得到它。接下来，考虑一个两层的GCN模型，任务是在图上的半监督的结点分类，带有一个对称的邻接矩阵。

另一方面，非光谱non-spectral的方法，直接在图谱上进行卷积的定义，在空间相邻的邻居上进行操作。这类方法面对的问题是，如何定义在不同尺寸的邻居上的操作，同时保持CNN权重共享的特性。注意力机制的一个好处在于，可以处理任何尺寸的输入，专注于输入数据的最有关的部分，以做出决定。为了的得到足够的表达能力，以将输入的特征转换成高维特征，需要至少一个可学习的线性转换。其他的研究表明，不仅仅是自注意力可以提升基于RNN或者卷积的这类模型的表现，并且也可以构建强力的模型。是对应的输入线性变换的权重矩阵。

在GraphMAE中，作者提出直接对每一个掩膜的结点进行重构，重构成原始的特征，这个过程因为其多维度和特征的连续性，会是一个比较困难的任务。当代码的维数大于输入的维数时，普通的自动编码器有学习到臭名昭著的“恒等函数”的风险，是一个退化解，使学习到的潜码code无用。尽管自监督的GAEs的形式简单，最近也进行了各种尝试，但迄今为止，自监督GAEs的发展远远落后于对比学习，至今仍然还没有以GAEs全面的超越对比自监督方法，特别是在结点和图分类方面。直觉在于，降低简单样本的权重，对训练是有利的。

在训练判别器的过程中使用了对比学习的方法，通过定义图片的潜在特征为数据对，最大化正对之间的互信息，最小化负对之间的负信息。Unsupervised fifine-grained class clustering——针对非常相似的目标的图像分类任务——一些基于多视图的无监督学习方法取得了不错的结果，但是基于以下原因，无法用于细粒度聚类中：1）在细粒度类中去发现类与类之间的区别更难，这种任务的数据集往往更大，如图1所示；单独的随机噪声z被保留，这是生成器的另一个输入，用来模拟背景区域发生的变化。

作者认为，对比学习可以为中间层级提供更好的监督信息——对比学习即对一张图片使用不同的数据增广构成的样本对称为正对，将不同的图片视为负对——由此网络可以学习数据中的不变信息——数据增广下的不变信息往往是低维的，任务无关的可以迁移到不同的视觉任务，由此作者任务这对中间层学习到的信息更有利。浅层网络往往学习一些低级的特征，最后几层则是学习高维的任务相关的语义特征——deep supervision强行使得浅层网络去学习任务相关的知识，但是这违背了原本的特征提取的过程，暗示这可能并不是最好的对中间层级优化的监督。

为了减轻在对比学习过程中，假阴性的样本对的影响，纠正聚类分布的结果，作者提出了一个基于置信度的加速策略(confidece-based boosting strategy,CB)。为了实现聚类，理想情况下，将一个类内的实例都定义为正的，类间的实例则为负的。聚类——其他聚类算法聚焦于设计不同的相似性尺度以及聚类策略——虽然有理论依据，但是模型效果受限于浅层模型——早期的深度聚类算法，需要把整个数据集一起输入，对大规模数据以及流型数据不友好——通过对每一个实例预测簇分配，以实现在大规模数据上的在线聚类。

图卷积神经网络GCN——现有的GCN都关注于表征学习，即，设计不同的卷积操作——现实场景下，由于噪音和异常值的影响，初始图常常会有一些错误的链接，这会导致特征学习的效果变差——于是，提高初始图的质量可以提高GCN的性能——图学习的目的是，可以输出高质量的图谱以保证表征学习的质量——图的质量可以由很多因素影响，诸如：噪音，原始数据的冗余，数据结构的保存情况等。传统的图融合方法，应用一个图学习方法来实现图融合，该方法最小化期望的公共图和预定义的多个图之间的差异。，在公式5中的第二项，都是从原始数据中学习到的；.

3）AMF基于融合的注意力机制，收益于AGC和AE，AMF学习他们的融合特征，去获得结点自身以及其邻居的信息，由此这种复杂的融合信息的机制可以获得更精确的结点关系描述；其次，一个AMF模块被提出，集成了AGC和AE和针对异构特征的注意力权重，去学习更复杂的融合特征，这促使构建一个好的图片图谱结构。spectral clustering，目标是学习一个针对原始数据的好的关联矩阵——与深度学习的结合可以使其学到更好的关联矩阵——这些深度聚类方法，仅仅利用数据的特征信息，很少去利用数据之间的拓扑关系。

后来，我们计算在嵌入空间中的结点和边——构建图块级的结点，会降低算法的计算复杂度——但是不同的图块可能属于不同的场景，一些可能是主要场景一些可能是干扰场景，特别存在于一些多重场景中——不区分这些场景会导致学到的特征区别度减弱，导致最后的分类结果变差——为了解决这个问题，我们设计了结点注意力模块，来自动的学习图块中的主要的场景，构建更具有区别度的结点——设计了一个动态相关性矩阵学习算法，来自适应的学习结点之间的边，学习空间邻居关系、非局部依赖特征、以及在预测的场景标签中的先验知识。是在线网络的目标输出。

但是，图的数据增广是否对对应的聚类任务有效，还是不确定的。特征图聚类，将给定的结点分到一些不相交的簇——传统聚类要么只关注结点特征，要么只关注图谱结构——图神经网络GNN，将结点的特征提取到低维，并且尽量同时保持原始的图谱结构以及结点特征——一些基于GNN的方法，没有针对聚类任务进行一些设计，仅仅使用GNN对特征进行提取然后在提取的结点特征上使用传统的聚类算法。如图1所示，对称特征提取模块包含一个GNN编码器以及一个对称的解码器，将原始的结点和图谱结构映射到一个新的低维空间，在低维空间上做属性图聚类。...

多视图聚类——多视图聚类所面临的一些问题：1）可能会缺失一些视图的数据2）K-means和谱聚类往往用于多视图聚类的最后一步——这些存在的问题对通用的特征质量以及相似度矩阵特别敏感，如果有噪音则会导致聚类性能的下降——并且K-means和谱聚类对于预设定的聚类数目非常依赖。在这条公式中，局部的图是由两个样本的k近邻构成的。仅仅使用欧式空间中的信息，会忽视图的信息，可能会导致样本之间的逐对的后验概率的不准确。我们的目标是完全利用每一个视图的信息，包括不完全视图中的独特的信息以及完全视图中的一致性信息。...

给一个数据矩阵，其中代表特征个数以及代表样本个数。假设有，其中以及是一个未知的置换矩阵。对于，假设的列，由生成，其中是未知的非线性函数，以及是随机变量，是随机的高斯噪声。问题目标是从中找到置换矩阵问题1其实也是一个聚类问题，对于需要将的每一列分到个簇中，通过个不同的函数。图2演示了问题1的一种简单情况。值得注意的是，这些函数都是线性的，这个问题可以归结为经典的子空间聚类。在问题1中，对于假设有其中和。此外，是足够小的。问题目标是从中找到置换矩阵。...

A deep variational approach to clustering survival data

提出了一个新颖的数据增广手法，通过对掩膜图片的重构实现构建样本对。

让代表个节点共分为个类别的集合，代表边的集合。以及分别代表特征矩阵和初始的邻接矩阵。代表一个无向图。度矩阵表示为以及。图拉普拉斯矩阵定义为。在GCN中，使用一个重新归一化的技巧，即，对称归一化图拉普拉斯矩阵定义为。深度图聚类的目标是将图中的结点一无监督的方式分配到一系列不相邻的组。具体来说，就是以一种无监督的方式去训练一个神经网络，通过探索结点的特征以及结构信息来对结点进行编码，即。其中，分布代表特征矩阵和原始的邻接矩阵。此外，是学到的结点嵌入，其中是样本的个数，...

使用了一个非对称的自编码器设计，编码器是ViT，解码器是一个浅层模型，这种不对称的设计还是非常新颖的，还有将mask作为一个任务的思想。

​论文标题XAI Beyond Classification: Interpretable Neural Clustering论文作者、链接作者：Peng, Xi and Li, Yunfan and Tsang, Ivor W and Zhu, Hongyuan and Lv, Jiancheng and Zhou, Joey Tianyi链接：https://www.jmlr.org/papers/volume23/19-497/19-497.pdf​...

Robust multi-view clustering with incomplete information论文作者、链接作者：Yang, Mouxing and Li, Yunfan and Hu, Peng and Bai, Jinfeng and Lv, Jian Cheng and Peng, Xi链接：Robust Multi-view Clustering with Incomplete Information | IEEE Journals & Magazine | IEEE Xp

Partially view-aligned representation learning with noise-robust contrastive loss论文作者、链接作者：Yang, Mouxing and Li, Yunfan and Huang, Zhenyu and Liu, Zitao and Hu, Peng and Peng, Xi链接：CVPR 2021 Open Access Repository代码：https://github.com/XLearning-SCU/202

Contrastive clustering论文作者、链接作者：Li, Yunfan and Hu, Peng and Liu, Zitao and Peng, Dezhong and Zhou, Joey Tianyi and Peng, Xi链接：Contrastive Clustering| Proceedings of the AAAI Conference on Artificial Intelligence代码：GitHub - Yunfan-Li/Contrastive-Cluster

A survey on contrastive self-supervised learning作者：Jaiswal, Ashish and Babu, Ashwin Ramesh and Zadeh, Mohammad Zaki and Banerjee, Debapriya and Makedon, Fillia链接：Technologies | Free Full-Text | A Survey on Contrastive Self-Supervised Learning深度学习在很多智能系统中表现

Attention-driven Graph Clustering Network论文作者、链接作者：Peng, Zhihao and Liu, Hui and Jia, Yuheng and Hou, Junhui链接：Attention-driven Graph Clustering Network | Proceedings of the 29th ACM International Conference on Multimedia代码：聚类——深度聚类，关键在于从潜在数据总学习错综复杂的模式

Understanding dimensional collapse in contrastive self-supervised learning作者：Jing, Li and Vincent, Pascal and LeCun, Yann and Tian, Yuandong链接：https://arxiv.org/abs/2110.09348自监督学习：目标是在没有人工标注的情况下学习有用的特征表示——琐碎解：模型将所有的输入映射到一个恒定的向量中——常见的避免琐碎解（模型坍塌）的方法有：正\负样本对

论文标题Ada-nets: Face clustering via adaptive neighbour discovery in the structure space论文作者、链接作者：Wang, Yaohua and Zhang, Yaobin and Zhang, Fangyi and Wang, Senzhang and Lin, Ming and Zhang, YuQi and Sun, Xiuyu链接：https://arxiv.org/abs/2202.03800代码：

论文标题A comprehensive survey on graph neural networks论文作者、链接作者：Wu, Zonghan and Pan, Shirui and Chen, Fengwen and Long, Guodong and Zhang, Chengqi and Philip, S Yu链接：A Comprehensive Survey on Graph Neural Networks | IEEE Journals & Magazine | IEE

论文标题AutoGCL: Automated Graph Contrastive Learning viaLearnable View Generators论文作者、链接作者：Yin, Yihang and Wang, Qingzhong and Huang, Siyu and Xiong, Haoyi and Zhang, Xiang链接：https://arxiv.org/abs/2109.10259代码：https://github.com/Somedaywilldo/AutoG.

论文标题Nearest Neighbor Matching for Deep Clustering论文作者、链接作者：Dang, Zhiyuan and Deng, Cheng and Yang, Xu and Wei, Kun and Huang, Heng链接：CVPR 2021 Open Access Repository代码：GitHub - ZhiyuanDang/NNM: The PyTorch official implementation of the CVPR2021

论文标题Graph Clustering via Variational Graph Embedding论文作者、链接作者：Lin Guo, Qun Dai链接：https://www.sciencedirect.com/science/article/abs/pii/S0031320321005148预备知识Introduction逻辑（论文动机&现有工作存在的问题）论文核心创新点相关工作论文方法消融实验设计一句话总结论文好句摘抄（个人向）...

论文标题Embedding Graph Auto-Encoder for Graph Clustering论文作者、链接作者：Zhang, Hongyuan and Li, Pei and Zhang, Rui and Li, Xuelong链接：Embedding Graph Auto-Encoder for Graph Clustering | IEEE Journals & Magazine | IEEE Xplore代码：​​​​​​GitHub - hyzhang98/

论文标题Towards Unsupervised Deep Graph Structure Learning论文作者、链接作者：Liu, Yixin and Zheng, Yu and Zhang, Daokun and Chen, Hongxu and Peng, Hao and Pan, Shirui链接：https://arxiv.org/pdf/2201.06367.pdf代码：GitHub - GRAND-Lab/SUBLIME: A PyTorch implementatio

论文标题mentation-Free Self-Supervised Learning on Graphs论文作者、链接作者：Lee, Namkyeong and Lee, Junseok and Park, Chanyoung链接：https://arxiv.org/pdf/2112.02472.pdf代码：GitHub - mynameischaos/GCC: Graph Contrastive Clustering (ICCV2021)预备知识Introduction逻辑

论文标题Deep fusion clustering network论文作者、链接作者：Tu, Wenxuan and Zhou, Sihang and Liu, Xinwang and Guo, Xifeng and Cai, Zhiping and Cheng, Jieren and others链接：https://arxiv.org/abs/2012.09600代码：GitHub - WxTu/DFCN: AAAI 2021-Deep Fusion Clustering Net

论文标题Structural Deep Clustering Network论文作者、链接作者：Bo, Deyu and Wang, Xiao and Shi, Chuan and Zhu, Meiqi and Lu, Emiao and Cui, Peng链接：Structural Deep Clustering Network | Proceedings of The Web Conference 2020Introduction逻辑论文动机&现有工作存在的问题（1）

论文标题Deep Graph Clustering via Dual Correlation Reduction 论文作者、链接作者：Yue Liu,Wenxuan Tu,Sihang Zhou,Xinwang Liu,Linxuan Song,Xihong Yang,En Zhu链接：AAAI2022: Deep Graph Clustering via Dual Correlation Reduction代码：GitHub - yueliu1999/DCRN: [AAAI 2...

论文标题CCGL: Contrastive Cascade Graph Learning论文作者、链接作者：Xu, Xovee and Zhou, Fan and Zhang, Kunpeng and Liu, Siyuan链接：CCGL: Contrastive Cascade Graph Learning | IEEE Journals & Magazine | IEEE XploreIntroduction逻辑论文动机&现有工作存在的问题（1）如何以对比

论文标题Momentum contrast for unsupervised visual representation learning论文作者、链接作者：He, Kaiming and Fan, Haoqi and Wu, Yuxin and Xie, Saining and Girshick, Ross链接：CVPR 2020 Open Access Repository代码：https://github.com/facebookresearch/mocoIntroductio

论文标题Graph Contrastive Clustering 论文作者、链接作者：Zhong, Huasong and Wu, Jianlong and Chen, Chong and Huang, Jianqiang and Deng, Minghua and Nie, Liqiang and Lin, Zhouchen and Hua, Xian-Sheng链接：ICCV 2021 Open Access RepositoryIntroduction逻辑论文动机&现有

论文标题PICO: CONTRASTIVE LABEL DISAMBIGUATION FORPARTIAL LABEL LEARNING论文作者、链接作者：Wang, Haobo and Xiao, Ruixuan and Li, Yixuan and Feng, Lei and Niu, Gang and Chen, Gang and Zhao, Junbo链接：https://arxiv.org/abs/2201.08984摘要翻译bla相关工作bla论文方法bl

论文标题DeepDPM: Deep Clustering With an Unknown Number of Clusters论文作者、链接作者：Ronen M, Finder S E, Freifeld O.链接：https://arxiv.org/abs/2203.14309代码：https://github.com/BGU-CS-VIL/DeepDPM. 摘要翻译深度学习在无监督任务的聚类中显示出很大的潜力。这意味着，虽然传统的（非深度）的聚类方法的无参数的好处是总所周知.