论文阅读:scTPC: a novel semi-supervised deep clustering model for scRNA-seq data

引用:Yushan Qiu, Lingfei Yang, Hao Jiang, Quan Zou, scTPC: a novel semi-supervised deep clustering model for scRNA-seq data, Bioinformatics, 2024;, btae293, scTPC: a novel semi-supervised deep clustering model for scRNA-seq data | Bioinformatics | Oxford Academic

论文:scTPC: a novel semi-supervised deep clustering model for scRNA-seq data | Bioinformatics | Oxford Academic (oup.com)

代码:

LF-Yang/Code (github.com)


动机

单细胞RNA测序(scRNA-seq)技术的不断进步使研究人员能够进一步探索细胞异质性、轨迹推断、稀有细胞类型鉴定和神经病学的研究。准确的scRNA-seq数据聚类在单细胞测序数据分析中至关重要。然而,数据中的高维性、稀疏性和“假”零值的存在可能会给聚类带来挑战。此外,目前的无监督聚类算法尚未有效地利用先验生物学知识,使细胞聚类更具挑战性。

本研究基于深度学习的集成了三元组约束、成对约束和交叉熵约束的半监督聚类模型scTPC。具体来说,该模型首先基于零膨胀负二项分布(ZINB)预训练去噪自动编码器。然后,使用从部分标记细胞生成的三元组约束和成对约束,在学习的潜在特征空间中执行深度聚类。最后,针对不平衡的细胞类型数据集,引入加权交叉熵损失来优化模型。

模型

基于ZINB的去噪自动编码器

论文阅读:scBGEDA: deep single-cell clustering analysis via a dual denoising autoencoder-CSDN博客

类似:

 深度聚类

与直接应用Kmeans不同,作者采用weighted K-means 方法,目标如下:

这里 zi 表示第 i 个样本的潜在表示,φj 表示第 j 个簇中心。同时,ωij 表示属于第 j 个簇的样品 i 的权重。与 scziDesk (Chen et al. 2020) 类似,作者采用高斯核函数来测量 ω(Vlasblom 和 Wodak 2009)。

另采用与DEC相同的损失:

因此,深度聚类的损失为:

三重约束

为了获得增强的聚类结果,在图像处理领域引入了三重约束,允许更精确地区分细节(Schroff 等人,2015 年)。三重约束背后的基本原理是学习一个结构良好的嵌入空间,其中相似的样本彼此接近,有助于确定它们是否属于同一类别。单细胞聚类的目标是将具有相似表达模式的细胞组合在一起,有效地区分不同类别的细胞。有鉴于此,三重约束的概念与单细胞聚类的目标非常吻合,单细胞聚类涉及确定两个样本是否属于同一类别。因此,模型中自然地应用了三重约束。该模型是通过学习三元组来训练的,这些三元组将同一类的实例与不同类的实例区分开来。具体来说,三元组构建涉及从标记的细胞数据集中随机采样,该数据集可以是已知的标记细胞数据集,也可以是使用 Garnett (Pliner et al. 2019) 评分技术生成的数据集。三元组包括一个锚定细胞、一个正细胞和一个负细胞。锚细胞和正细胞属于同一细胞类型,而负细胞属于不同的细胞类型。三重约束的目标是最小化锚定细胞和正细胞之间的距离,同时最大化锚细胞和负细胞之间的距离。因此,模型的目标是最小化类内距离并最大化类间距离。

在这里,α 用作区间参数,进一步强调了锚-正对和锚-负对之间的区别。集合 T 表示数据集中所有可行的三元组。在整个深度聚类过程中,可以推导聚类向量,锚单元和正单元之间的距离定义如下:

成对约束

深度聚类层包含用于指导数据聚类过程的标签信息。然而,仅在聚类水平上提供的指导忽略了细胞之间的成对约束(Chen 等人,2021 年)。通常,定义了两种类型的约束:必须链接和不能链接(Basu 等人,2008 年)。Must-link 约束事先表示两个元属于同一类型,而 Cannot-link 约束事先表示两个相应的元属于不同的类型。成对的 Must-link 和 Cannot-link 约束通常用于半监督算法来引导聚类过程(van Engelen 和 Hoos 2020)。因此,在基于标记数据集进行聚类时,合并这些成对约束是有利的。最初,判别概率向量 p 用于计算相似性矩阵 S,可以使用以下表达式计算:

通过利用标签信息,可以构建标签矩阵Y,该矩阵根据提供的数据描述Must-link和Cannot-link约束对。具体而言,Y 可以定义如下:

模型希望确保具有相同类别的样本彼此靠近,而具有不同标记的样本彼此保持距离。因此,成对约束损失的表述如下:

平衡数据集

考虑到数据集中不同类别的样本分布不平衡,其中某些类别具有大量样本,而其他类别的样本数量明显较少,因此解决模型中产生的偏差至关重要。这种偏差通常会导致预测性能不佳,特别是对于样本有限的类别。这些类别更有可能被错误地分配给包含大量样本的类(Kim 等人,2021 年)。为了缓解这个问题,引入了加权交叉熵损失,从而促进了额外的模型优化。

.为了确保模型在训练期间更加强调有限的样本类别,作者为它们分配了更高的权重。这种刻意的加权有利于提高聚类结果的准确性。

模型训练策略

模型总损失设计如下:

实验

实验数据

模拟数据

真实数据

实验结果


这篇文章与之前的大多数文章不同之处在与采用半监督的方式,利用三种约束,为聚类提供更多的先验信息。

采用半监督的方式,利用少量的标签信息或者成对约束信息,对于细胞聚类效果的提升会有较大的帮助,可以是未来的研究方向之一。

  • 33
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
近年来,半监督深度面部表情识别成为了人们关注的热点问题之一。在这个领域,研究人员一直致力于利用少量有标签的数据和大量无标签的数据来提高面部表情识别的准确性和鲁棒性。Adaptive是一种有效的半监督学习方法,它能够自适应地利用标签和无标签数据,使得深度学习模型在应用于面部表情识别时更加有效。 半监督学习是一种机器学习方法,利用少量有标签的数据和大量无标签的数据来训练模型。在面部表情识别中,往往很难获取大量有标签的数据,而无标签数据却很容易获取,因此半监督学习成为了一种有吸引力的解决方案。通过利用Adaptive方法,研究人员可以更好地利用无标签数据,提高模型的泛化能力和鲁棒性,从而提升面部表情识别的准确性。 Adaptive方法还可以帮助模型在数据分布变化时自适应地调整,使得模型更具灵活性和稳健性。在面部表情识别任务中,由于不同环境和条件下的面部表情具有差异性,Adaptive方法能够使模型更好地适应这种差异,提高识别的鲁棒性。 总之,半监督深度面部表情识别与Adaptive方法的结合,有望提高面部表情识别的准确性和鲁棒性,为人们提供更加高效和可靠的面部表情识别技术。相信随着更多研究和实践的开展,半监督深度面部表情识别将迎来更加广阔的发展前景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值