qq_34179307的博客

原创 Convex and Semi-Nonnegative Matrix Factorizations

我们提出了非负矩阵分解（NMF）主题的几种新变体。考虑形式为X = FG^T的因子分解，我们关注的是G被限制为包含非负元素的算法，但允许数据矩阵X具有混合符号，从而扩展了NMF方法的适用范围。我们还考虑了基向量F被约束为数据点的凸组合的算法。这用于NMF的核扩展。我们提供了计算这些新因子分解的算法，并提供支持的理论分析。我们还分析了我们的算法与聚类算法之间的关系，并考虑了解的稀疏性的影响。最后，我们提供了探索这些新方法特性的实验结果。1 INTRODUCTION矩阵分解是数值线性代数中的一个统一主题。多

原创 Consistency Enhancement-Based Deep Multiview Clustering via Contrastive Learning

多视图聚类（MVC）通过综合多个视图的信息将数据样本分成有意义的簇。此外，基于深度学习的方法在多视图聚类场景中展示了强大的特征学习能力。然而，在有效地推广特征表示的同时保持一致性仍然是一个棘手的问题。此外，大多数基于对比学习的现有深度聚类方法在聚类过程中忽视了聚类表示的一致性。在本文中，我们展示了如何克服上述问题，并提出了一种通过对比学习来增强一致性的深度多视图聚类方法（CCEC）。

原创 BP Neural Network-Based Deep Non-negative Matrix Factorization for Image Clustering

深度非负矩阵分解（DNMF）是一种用于非负多层特征提取的有前途的方法。大多数DNMF算法都是通过反复运行单层NMF来构建分层结构。它们必须通过微调策略消除累积误差，然而这样做非常耗时。为了解决现有DNMF算法的缺点，本文提出了一种基于反向传播神经网络（BPNN）的新颖深度自编码器。它可以自动产生一个称为BPNN基于DNMF（BP-DNMF）的深度非负矩阵分解。实验证明，所提出的BP-DNMF算法在收敛性上表现出色。

原创 Neighbouring Constraint Deep Matrix Factorization for Sequential Multi-view Clustering

多视图聚类(MVC)旨在将一组多源数据分割为其潜在的组群。为了提升性能，如何探索更好的表示方法是重要的。在本文中，我们提出了一种具有特征融合的深度矩阵分解模型，用于处理顺序多视图聚类问题。该方法通过逐层嵌入邻近约束来找到每个视图层中的聚类边界信息，并可以获得用于MVC的聚合输出表示。实验证明，所提出的模型极大地提高了聚类性能，并可用于运动分割等应用中。为了逐层挖掘更清晰的聚类结构，我们采用结构正则化项[8]的思想，并引入邻近约束来寻找每一层中的聚类边界信息。

原创 Auto-weighted multi-view clustering via deep matrix decomposition

实际数据通常从多个渠道收集或由不同的表示（即视图）组成。多视图学习提供了一种优雅的方式来分析多视图数据的低维表示。近年来，已经设计了几种多视图学习方法，并成功应用于各种任务。然而，现有的多视图学习方法通常在单层形式下工作。由于获得的表示与原始数据之间的映射包含了具有隐含的较低层次隐藏属性的相当复杂的层次信息，因此有必要以层次化的方式充分探索隐藏的结构。本文提出了一种新颖的深度多视图聚类模型，通过逐层方式揭示输入数据的层次语义。通过利用一种新颖的协作深度矩阵分解框架，可以学习与不同属性相关的隐藏表示。

原创 Multi-view Clustering via Deep Matrix Factorization and Partition Alignment

多视角聚类（Multi-view clustering，简称MVC）在近年来得到了广泛研究，用于收集多源信息。一种典型的MVC方法是基于矩阵分解，以有效地进行降维和聚类。然而，现有方法可以通过以下考虑进一步改进：i）当前的单层矩阵分解框架不能充分利用有用的数据表示。ii）大多数算法只关注共享信息，而忽略视角特定的结构，导致次优解。iii）现有工作中未利用分区级别的信息。为了解决上述问题，我们提出了一种新颖的多视角聚类算法，通过深度矩阵分解和分区对齐。

原创 Multi-View Clustering via Deep Matrix Factorization

最近，多视角聚类（MVC）因为许多现实世界的数据由不同的表示或视图组成而引起了更多关注。关键在于探索互补信息以使聚类问题受益。在本文中，我们提出了一种用于MVC的深度矩阵分解框架，其中采用半非负矩阵分解以逐层学习多视图数据的层次语义。为了最大化每个视图的互信息，我们强制要求最终层中每个视图的非负表示相同。此外，为了尊重每个视图数据中的固有几何结构，我们引入了图正则化项来耦合深层结构的输出表示。作为一个非平凡的贡献，我们提供了基于交替最小化策略的解决方案，并给出了收敛性的理论证明。

原创 SCALABLE SPECTRAL CLUSTERING WITH GROUP FAIRNESS CONSTRAINTS

虽然FairSC算法能够找到更公平的聚类，但由于计算零空间的内核和显式的密集矩阵的平方根，其代价较高。我们提出了一种新的底层谱计算公式，它结合了零空间投影和霍特林的压缩，这样得到的算法称为s-FairSC，只涉及稀疏的矩阵-向量乘积，并且能够充分利用公平SC模型的稀疏性。在改进的随机块模型上的实验结果表明，s-FairSC与FairSC在恢复公平聚类方面具有可比性。与此同时，对于中等尺寸的模型，它的速度提高了12倍。

原创 Deep Multi-View Subspace Clustering with Anchor Graph

深度多视图子空间聚类（DMVSC）因其良好的性能而受到越来越多的关注。然而，现有的DMVSC方法仍有两个问题： (1)他们主要专注于使用自动编码器非线性嵌入数据，而嵌入可能次优聚类因为聚类目标很少被认为是自动编码器，和(2)他们通常有一个二次甚至立方复杂性，这使得它具有挑战性的处理大规模数据。为了解决这些问题，本文提出了一种新的基于锚定图（DMCAG）的深度多视图子空间聚类方法。为了明确，DMCAG可以独立学习每个视图的嵌入特征，用于获得子空间表示。

原创 Efficient Discrete Clustering With Anchor Graph

光谱聚类（SC）由于其在图形学习方面的突出突破，在过去的几十年里已被应用于各种数据结构的分析。然而，在松弛和离散化过程中，耗时的特征值分解（EVD）和信息损失影响了效率和精度，特别是对于大尺度数据。为了解决上述问题，本文提出了一种简单而快速的方法——锚图高效离散聚类（EDCAG），以避免通过二进制标签优化的后处理。首先，采用稀疏锚点来加速图的构造，得到了一个无参数的锚点相似度矩阵。随后，受SC中类内相似度最大化的启发，我们设计了一个锚点-样本层之间的类内相似度最大化模型。

原创 Efficient Deep Embedded Subspace Clustering

最近，深度学习方法在数据聚类任务中取得了重大进展。深度聚类方法(包括基于距离的方法和基于子空间的方法)将聚类和特征学习整合到一个统一的框架中，聚类和表示之间相互促进。然而，深度子空间聚类方法通常是在自表达模型的框架下进行的，具有二次的时间和空间复杂度，阻碍了其在大规模聚类和实时聚类中的应用。本文提出了一种新的深度聚类机制。我们的目标是通过迭代精炼的方式从深度表示中学习子空间基，而精炼的子空间基反过来帮助学习深度神经网络的表示。该方法摆脱了自表达框架，线性扩展到样本大小，适用于任意大的数据集和在线聚类场景。

原创 SCDC--Clustering single-cell RNA-seq data with a model-based deep learning approach

单细胞RNA测序(scRNA-seq)有望提供比大量RNA测序更高的细胞差异分辨率。通过scRNA-seq对转录组进行聚类分析，可以揭示细胞的异质性和多样性。然而，scRNA-seq数据的聚类分析仍然是一个统计和计算上的挑战，因为普遍存在的退出事件使数据矩阵与普遍的“假”零计数观测模糊。在这里，我们开发了scDeepCluster，这是一种基于单细胞模型的深度嵌入聚类方法，它通过对scRNA-seq数据生成的显式建模来同时学习特征表示和聚类。

原创 Spectral clustering based on learning similarity matrix

单细胞rna测序(scRNA-seq)技术可以在单细胞水平上生成全基因组表达数据。scRNA-seq分析的一个重要目标是对细胞进行聚类，其中每个聚类由基于基因表达模式的属于相同细胞类型的细胞组成。：我们引入了一种新的谱聚类框架，它在目标矩阵上施加稀疏结构。具体来说，我们利用多个双重随机相似矩阵来学习相似矩阵，其动机是观察到每个相似矩阵可以是数据的不同信息表示。

原创 A Framework for Deep Constrained Clustering - Algorithms and Advances

我们表明，我们的框架不仅可以处理从标记的侧信息生成的标准的一起/分开约束(没有先前报道的良好记录的不利影响)，还可以处理从新类型的侧信息(如连续值和高级领域知识)生成的更复杂的约束。本文的目的之一是探索深度学习如何能在聚类领域取得超越其他方法的进步。特别是，我们发现现有的约束聚类的非深度公式有以下局限性：-有限的限制和侧面信息（ Side Information）。约束仅限于简单的一起/分开（together/apart）的约束，通常由标签生成。

原创 scDeepCluster_pytorch代码解读与文章理解

论文：Clustering single-cell RNA-seq data with a。

转载 KKT条件|理论+算例

此时会得到**“使f(X)取最小值时的最优X*”**，进一步，如果将其值X*带入约束g(X)，无非就以下三种情况。此时对**L(x, λ)**求导（等价于对f(X)求导）时既不用管约束，也没有λ的干扰。式(2)：核心公式，要么λ=0，要么g(X*)=0（此处要求两者不能同时为0）；(2) 当 λ≠0 时，计算X*和λ的值，并验证g(X*)≤0和λ≥0是否成立。注：如果是最大化问题，即maxf(X)，约束改写为g(X)≥0的形式。(1) 当 λ=0 时，计算X*的值，并验证g(X*)≤0是否成立；

原创 Imputation Methods for scRNA Sequencing Data

越来越多的研究者使用单细胞RNA测序(scRNA-seq)技术来表征单细胞水平的转录图谱。他们用它来研究复杂组织的异质性、转录组动力学和未知生物的多样性。然而，在基因表达模式随机性的scRNA-seq数据中普遍存在许多技术和生物学上的噪音。这些数据通常具有高维、稀疏和大量“dropout”值的特点，并且受批处理效应的影响。scRNA-seq数据中大量的“dropout”值严重掩盖了基因之间的重要关系，阻碍了下游分析。因此，scRNA-seq数据dropout值的估算就显得尤为重要。

原创 Doubly Stochastic Normalization for Spectral Clustering

本文主要研究谱聚类中亲和矩阵的归一化问题。我们表明，N-cuts和Ratio-cuts之间的区别在于在寻找与输入亲和矩阵最接近的双随机矩阵时所使用的误差度量(相对熵与L1范数)。然后，我们开发了一种利用冯-诺伊曼连续投影引理在Frobenius范数下寻找最优双随机逼近的方案。新的归一化方案简单有效，提供了优于许多标准化测试的聚类性能。

翻译 An Overview of Fairness in Clustering翻译

机器学习（ML）已被用于解决许多重要问题，其中许多问题可能具有重大的社会影响。这些问题包括预测罪犯再犯率[1] - [5]，发放银行贷款[6] - [8]，短名单应聘者[9] - [13]和大学录取[14] - [16]。由于在大型数据集上训练的ML模型已被发现包含对个人和少数群体的偏见，因此在高影响力应用中使用时可能会进一步放大偏见。这已经在许多ML应用中得到证明，其中未将公平性视为评估标准。

原创 Spectral clustering via ensemble deep autoencoder learning (SC-EDAE)

论文：2020 Pattern Recognition参考链接:Large Scale Spectral Clustering with Landmark-Based Representation (in Julia)Large Scale Spectral Clustering with Landmark-Based Representation[Large Graph Construction for Scalable Semi-Supervised Learning](https://icml

原创 向量和矩阵的范数

矩阵的范数1-范数：列和范数，即所有矩阵列向量绝对值之和的最大值2-范数：谱范数，即A’A矩阵的最大特征值的开平方∞\infty∞范数：行和范数，即所有矩阵行向量绝对值之和的最大值F-范数：Frobenius范数，即矩阵元素绝对值的平方和再开平方核范数：矩阵A的奇异值向量的范数1-范数： 各个元素的绝对值之和；2-范数：每个元素的平方和再开平方根；∞\infty∞范数：即所有向量元素绝对值中的最大值p-范数：即向量元素绝对值的p次方和的1/p次幂...

原创 A block IDR(s) method for nonsymmetric linear systems with multiple right-hand sides

基于诱导降维（IDR）定理的IDR（s）是一类新的求解大型非对称线性系统的有效算法。本文将IDR（s）推广到求解具有多个右边的大型非对称线性系统。本文首先给出了IDR定理的一个变体，然后在变体IDR（s）定理的基础上提出了块IDR（s）。1. Introduction考虑求解具有多个右侧边的大的稀疏线性系统AX=B(1)AX = B \tag{1}AX=B(1)系数矩阵A是n阶非奇异实数矩阵，, X=[x1,x2,...,xm]X = [x_1, x_2, . . . , x_m]X=[x1​,x

原创 Large Scale Spectral Clustering with Landmark-Based Representation

论文：AAAI 2011代码：Julia基于锚点的谱聚类核心： 选取一个较小的anchor集【通常为原始数据点的子集】，计算所有数据点和anchor集之间的相似度，减少相似度矩阵维度 or 使得相似度矩阵稀疏化【导致拉普拉斯矩阵也是稀疏的，从而更高效地计算出谱】。摘要由于谱聚类的时间复杂度过高导致其无法在大数据集上应用，因此出现了很多改进的方法：比如使用采样策略减少数据的尺寸，或者是减少特征分解步骤的时间复杂度。对于采样的方法，虽然它们很有效，但代价是在采样过程损失了数据的结构信息。本文提出了一

原创 Attributed Graph Clustering: A Deep Attentional Embedding Approach，DAEGC

https://blog.csdn.net/qq_41749451/article/details/119349473https://zhuanlan.zhihu.com/p/53432553https://blog.csdn.net/AndyViky/article/details/94159565?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIS

转载 大似然估计（MLE）和 最大后验概率估计（MAP）

声明：本文为转载文章，发表于nebulaf91的csdn博客。本文作者: nebulaf91本文原始地址：http://blog.csdn.net/u011508640/article/details/72815981概率与统计概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。统计研究的问

原创 SpectralNet: Spectral Clustering Using Deep Neural Networks

原创 Deep spectral Clustering using Dual Autoencoder Network

论文：CVPR 2019代码：tensorflow 1.Google Drive 可以跑通!pip uninstall tensorflow!pip install tensorflow-gpu==1.15.0!pip install munkres!pip install 'h5py<3.0.0' -i https://pypi.tuna.tsinghua.edu.cn/simple!pip install keras==2.3.1!python run.py网络模型我们可以

原创 Local density adaptive similarity measurement for spectral clustering

摘要相似度度量对谱聚类的性能至关重要。通常采用高斯核函数作为相似度度量。然而，在核参数固定的情况下，两个数据点之间的相似性仅由它们的欧氏距离决定，并不适应它们周围的环境。本文提出了一种局部密度自适应相似度度量方法，该方法利用两个数据点之间的局部密度来扩展高斯核函数。所提出的相似度度量满足聚类假设，并具有放大聚类内相似度的效果，从而使亲和矩阵（邻接矩阵）清晰地成为块对角线。在合成数据集和真实数据集上的实验结果表明，采用局部密度自适应相似度度量的谱聚类算法优于传统的谱聚类算法、基于路径的谱聚类算法和自调优谱聚

原创 Low-Rank Solution of Lyapunov Equations（二）CF-ADI算法

3.2. Low-Rank Methods. In [14, 16], low-rank approximations to XXX were proposed which have the formX≈XJlr:=UJXJ×JUJT(3.10)X \approx X_{J}^{l r}:=U_{J} X_{J \times J} U_{J}^{T} \tag{3.10}X≈XJlr​:=UJ​XJ×J​UJT​(3.10)where the columns of UJ∈Rn×rJ,rJ≤JrbU_

原创 Low-Rank Solution of Lyapunov Equations（一）ADI算法

使用Cholesky factor–alternating direction implicit (CF–ADI) 算法求解 Lyapunov方程 AX + XA^T = −BB^T。附matlab实现ADI。