ConsensusClusterPlus， 一步到位的一致性聚类！

最新推荐文章于 2023-09-05 14:56:57 发布
最新推荐文章于 2023-09-05 14:56:57 发布
阅读量1.4w 收藏 93
点赞数 11
文章标签： 聚类 python 机器学习 数据分析 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43569478/article/details/124464348
版权

欢迎关注”生信修炼手册”!

在之前的文章中分享了一致性聚类的原理，本文介绍下如何用R语言进行分析。ConsensusClusterPlus这个R包，就是专门用于一致性聚类分析的，为了简化调用，甚至将所有的步骤都封装到了一个函数里面，所以其使用方法非常的简单，一共三步

1. 加载R包

2. 把表达量数据读进去

3. 运行一致性聚类的函数

是不是和把大象装进冰箱一样简单，但是我们必须注意，这样简单的背后，实际是一个黑盒子，如果不了解原理，你只能得到结果，但是结果说明了什么信息，你一无所知。

下面是具体步骤

1. 准备输入数据

行为基因，列为样本的表达量数据，为了获得最佳的聚类效果，可以对基因进行筛选， 对矩阵进行归一化操作，代码如下

> library(ALL)
> data(ALL)
> d=exprs(ALL)
# 表达量数据
> d[1:5,1:5]
             01005    01010    03002    04006    04007
1000_at   7.597323 7.479445 7.567593 7.384684 7.905312
1001_at   5.046194 4.932537 4.799294 4.922627 4.844565
1002_f_at 3.900466 4.208155 3.886169 4.206798 3.416923
1003_s_at 5.903856 6.169024 5.860459 6.116890 5.687997
1004_at   5.925260 5.912780 5.893209 6.170245 5.615210
> mad(d[1, ])
[1] 0.2701619
> mads=apply(d,1,mad)
> d=d[rev(order(mads))[1:5000],]
> dim(d)
[1] 5000  128
# 归一化操作
> d = sweep(d,1, apply(d,1,median,na.rm=T))
> dim(d)
[1] 5000  128
> d[1:5,1:5]
              01005     01010       03002     04006       04007
36638_at  1.5561207 0.9521271 -0.05018082  4.780378  3.93006775
39318_at  1.1913532 2.5013225 -2.38793537 -1.199521  1.93626914
38514_at  1.0207162 3.2785671  1.55949145 -3.345919 -0.01548269
266_s_at  1.8292604 0.3624327  1.54913247 -1.286294  1.75669694
38585_at -0.9240204 0.1895020  3.44968363 -2.216822  5.18702726

2. 运行ConsensusClusterPlus

ConsensusClusterPlus就是核心函数了，包括了以下几个参数

1. pItem, 选择80%的样本进行重复抽样

2. pfeature, 选择80%的基因进行重复抽样

3. maxK, 最大的K值，形成一系列梯度

4. reps, 重复抽样的数目

5. clusterAlg, 层次聚类的算法

6. distanc, 距离矩阵的算法

7. title, 输出结果的文件夹名字，包含了输出的图片

8. seed, 随机种子，用于重复结果

注意，在实际运行中，推荐reps设置的更大，比如1000， maxK设置的更大，比如20，具体代码如下

> library(ConsensusClusterPlus)
> title=tempdir()
> results = ConsensusClusterPlus(d,maxK=6,reps=50,pItem=0.8,pFeature=1, title=title,clusterAlg="hc",distance="pearson",seed=1262118388.71279,plot="png", writeTable = TRUE)
end fraction
clustered
clustered
clustered
clustered
clustered

函数的返回值是一个列表，每个列表子项对应给具体的K， K最小值为2

> str(results[[2]])
List of 5
$ consensusMatrix: num [1:128, 1:128] 1 1 0.895 1 1 ...
$ consensusTree  :List of 7
  ..$ merge      : int [1:127, 1:2] -1 -4 -5 -6 -7 -9 -11 -12 -14 -15 ...
  ..$ height     : num [1:127] 0 0 0 0 0 0 0 0 0 0 ...
  ..$ order      : int [1:128] 101 128 127 126 125 124 123 122 121 120 ...
  ..$ labels     : NULL
  ..$ method     : chr "average"
  ..$ call       : language hclust(d = as.dist(1 - fm), method = finalLinkage)
  ..$ dist.method: NULL
  ..- attr(*, "class")= chr "hclust"
$ consensusClass : Named int [1:128] 1 1 1 1 1 1 1 1 1 1 ...
  ..- attr(*, "names")= chr [1:128] "01005" "01010" "03002" "04006" ...
$ ml             : num [1:128, 1:128] 1 1 0.895 1 1 ...
$ clrs           :List of 3
  ..$ : chr [1:128] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" ...
  ..$ : num 2
  ..$ : chr [1:2] "#A6CEE3" "#1F78B4"


# 一致性矩阵，样本的邻接矩阵
> dim(d)
[1] 5000  128


> dim(results[[2]][["consensusMatrix"]])
[1] 128 128


> results[[2]][["consensusMatrix"]][1:5,1:5]
          [,1]      [,2]      [,3]      [,4]     [,5]
[1,] 1.0000000 1.0000000 0.8947368 1.0000000 1.000000
[2,] 1.0000000 1.0000000 0.9142857 1.0000000 1.000000
[3,] 0.8947368 0.9142857 1.0000000 0.8857143 0.969697
[4,] 1.0000000 1.0000000 0.8857143 1.0000000 1.000000
[5,] 1.0000000 1.0000000 0.9696970 1.0000000 1.000000


> results[[2]][["consensusTree"]]




Call:
hclust(d = as.dist(1 - fm), method = finalLinkage)




Cluster method   : average
Number of objects: 128


# 样本的聚类树
> results[[2]][["consensusTree"]]




Call:
hclust(d = as.dist(1 - fm), method = finalLinkage)




Cluster method   : average
Number of objects: 128


# consensusClass， 样本的聚类结果
> length(results[[2]][["consensusClass"]])
[1] 128
> results[[2]][["consensusClass"]][1:5]
01005 01010 03002 04006 04007
    1     1     1     1     1




# ml, 就是consensusMatrix
> results[[2]][["ml"]][1:5,1:5]
          [,1]      [,2]      [,3]      [,4]     [,5]
[1,] 1.0000000 1.0000000 0.8947368 1.0000000 1.000000
[2,] 1.0000000 1.0000000 0.9142857 1.0000000 1.000000
[3,] 0.8947368 0.9142857 1.0000000 0.8857143 0.969697
[4,] 1.0000000 1.0000000 0.8857143 1.0000000 1.000000
[5,] 1.0000000 1.0000000 0.9696970 1.0000000 1.000000
> results[[2]][["consensusMatrix"]][1:5,1:5]
          [,1]      [,2]      [,3]      [,4]     [,5]
[1,] 1.0000000 1.0000000 0.8947368 1.0000000 1.000000
[2,] 1.0000000 1.0000000 0.9142857 1.0000000 1.000000
[3,] 0.8947368 0.9142857 1.0000000 0.8857143 0.969697
[4,] 1.0000000 1.0000000 0.8857143 1.0000000 1.000000
[5,] 1.0000000 1.0000000 0.9696970 1.0000000 1.000000


# clrs, 颜色
> results[[2]][["clrs"]]
[[1]]
  [1] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[13] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[25] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[37] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[49] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[61] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[73] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3"
[85] "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#A6CEE3" "#1F78B4"
[97] "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#A6CEE3" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4"
[109] "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#A6CEE3" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4"
[121] "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4" "#1F78B4"




[[2]]
[1] 2




[[3]]
[1] "#A6CEE3" "#1F78B4"

3. 收集cluster-consensus和item-consensus 矩阵

代码如下

> icl = calcICL(results,title=title,plot="png")
> icl[["clusterConsensus"]]
      k cluster clusterConsensus
[1,] 2       1        0.7681668
[2,] 2       2        0.9788274
[3,] 3       1        0.6176820
[4,] 3       2        0.9190744
[5,] 3       3        1.0000000
[6,] 4       1        0.8446083
[7,] 4       2        0.9067267
[8,] 4       3        0.6612850
[9,] 4       4        1.0000000
[10,] 5       1        0.8175802
[11,] 5       2        0.9066489
[12,] 5       3        0.6062040
[13,] 5       4        0.8154580
[14,] 5       5        1.0000000
[15,] 6       1        0.7511726
[16,] 6       2        0.8802040
[17,] 6       3        0.7410730
[18,] 6       4        0.8154580
[19,] 6       5        0.7390864
[20,] 6       6        1.0000000


> dim(icl[["itemConsensus"]])
[1] 2560    4
> 128 * (2 + 3 + 4 + 5 + 6)
[1] 2560


> icl[["itemConsensus"]][1:5,]
  k cluster  item itemConsensus
1 2       1 28031     0.6173782
2 2       1 28023     0.5797202
3 2       1 43012     0.5961974
4 2       1 28042     0.5644619
5 2       1 28047     0.6259350

4. 结果解读

在输出文件夹中，包含了多种输出可视化结果，每种结果的含义如下

1）consensus matrix 热图

consensus matrix 为样本方阵，数值代表两个同属一个cluster的可能性，取值范围从0到1， 颜色从白色到深蓝色

033851ff7aa5dc86990921109bd53c0e.png

2）consensus 累计分布图 CDF

对于每个K对应的consensus matrix,  采用100个bin的柱状图来计算累计分布，

CDF图可以用来帮助决定最佳的K值

84edbca4fb1ceefcf842889e1b23a140.png

3）delta area plot

对于每个K, 计算K和K-1相比，CDF 曲线下面积的相对变化，对于K=2, 因为没有K=1, 所以是totla CDF curve area，选取增加不明显的点作为最佳的K值

5f050c1e6a28916b7eccff85b9838a4e.png

4）tracling plot

行为样本，列为每个K, 用热图展示样本在每个K下的cluster, 用于定性评估不稳定的聚类和不稳定的样本

d4e8042368d732acea173307d2a4b04f.png

·end·

—如果喜欢，快分享给你的朋友们吧—

原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！

本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。

  更多精彩

  写在最后

转发本文至朋友圈，后台私信截图即可加入生信交流群，和小伙伴一起学习交流。

扫描下方二维码，关注我们，解锁更多精彩内容！

9565a72681bc7f3a1468d928e9d1524a.png

一个只分享干货的

生信公众号

生信修炼手册
关注
  • 11
    点赞
  • 踩
  • 93
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
【聚类】ConsensusClusterPlus包
DerekRusso的博客
04-08 3817
ConsensusClusterPlus包聚类
R软件包ConsensusCluster进行共识聚类（Consensus Clustering）
SN的博客
12-23 1862
从下面论文看到这个方法：这篇论文基于 AI 方法对 bulk RNA-seq 数据识别肿瘤微环境中的细胞景观。
一致性聚类——Consensus clustering
热门推荐
个人记录使用
03-08 1万+
最近搞动态社区发现，发现用人用一致性聚类这种方法，在网上搜集资料却很少，就把现有的资料整理一下吧。 定义：As the name says, consensus clustering gains aconsensuson an observation’s cluster assignment based on their assignments in all the iterations ...
一致性聚类的最佳K值如何选，你真的搞清楚了吗？
庐州月光的博客
04-25 2991
欢迎关注”生信修炼手册”!聚类，是机器学习领域的一大研究方向，属于无监督学习，其算法也是层出不穷，多种多样，在本公众号之前的文章中也详细介绍了各种聚类算法，感兴趣的读者可以搜索之前的文章进行查看。将聚类算法应用于基因表达谱数据，来挖掘其中有价值的生物学信息，是非常典型的一类机器学习算法在生物学领域的应用。本文要介绍的一致性聚类，就是这样的一种聚类算法， 这种方法在癌症基因...
免疫浸润结果分子分型（一致性聚类）
医学和生信笔记的博客
09-05 609
分子分型也是生信灌水的常见知识点之一。可以用于分子分型的方法非常多，比如：一致性聚类、非负矩阵分解、PCA等等，当然这些方法不需要我们手动去计算，都是有成熟的R包帮我们做。colaMOVICSdiceR，等等。可以用于分子分型的数据那更是五花八门啦，理论上只要你有一个数值型矩阵，都可以做分型。今天给大家演示一个根据免疫浸润结果进行分子分型的示例。
一致性聚类
qq_42364307的博客
12-13 5475
一致性聚类（共识聚类） 定义：聚合多种聚类算法结果的方法，也称之为聚类集成或聚类的聚合。指的是对于一个特定的数据集已经获得了许多不同的（输入）聚类，并且希望找到一个单一的（一致的）聚类，在某种意义比现有的聚类更加合适。因此，一致性聚类是协调来自不同来源或同一算法的不同运行的关于同一数据集的聚类信息的问题。 非监督学习的一致性聚类类似于监督学习的中的集成学习（顾名思义，就是将多个单一模型进行组合，最后形成一个更好的模型的过程。之所以组合多个单一学习器，是因为很多时候单一学习器的效果不够理想，多个模型组合可以互
RNA 19. SCI 文章中无监督聚类法 （ConsensusClusterPlus）
weixin_41368414的博客
04-26 2940
SCI 文章中无监督聚类法 （ConsensusClusterPlus）
无监督的一致性聚类（consensus）的通俗理解
XIAOFEI@IDO
12-29 9959
一、背景介绍 当我们听到一致性聚类的时候，有时候我们会认为这是一种聚类方法。如果您也这样想的话，那就完全入坑了。下面我们来说一下，什么是一致性聚类（consensus）? 聚类的算法有许多，比如划分式聚类（k-means），基于密度的聚类算法（DBSCAN, OPTICS），层次聚类算法等，这些的方法的实现还是相对较为容易的（毕竟有数学公式推导，相信只要能看懂数学公式，实现都不是问题），那么主要的问题是什么呢？ 在于如何选择合适的参数从而得到最优的分类（最优包括稳定的，有意义的分类结果）。 稳定的分类是
ConsensusClusterPlus包进行聚类分析
qq_27390023的博客
07-05 2104
ConsensusClusterPlus包的ConsensesClusterPlus函数，用于通过稳定性证据确定簇数和类成员身份。计算聚类一致性和项目一致性的calcICL函数。 ConsensusClusterPlus( d=NULL, maxK = 3, reps=10, pItem=0.8, pFeature=1, clusterAlg="hc",title="untitled_consensus_cluster", innerLinkage="ave
ConsensusClustering及R实现
Christina
07-23 1万+
一、定义及K值选择 一致性聚类通过改变聚类的数据集（里面的数据全部从原始数据中抽取，也可以理解为是原始数据的子集），通过考量任意一个数据在不同样本中聚类表现的一致性来确定聚类的参数是否合适。 第一步：从原始数据中随机抽取子集，当然子集的规模不能太小，最好是原始数据集的半数以上（这是我自己理解的，数据太少聚类的话没有意义），子集要尽量多，以确保里面的每一个数据都多次被取到（100次以上），然后，我们选择任意一种聚类方法，可以使K-means或者层次聚类，对所有的数据子集分别聚类。 ...
SuperNovaV2:SNV2
03-08
SuperNovaV2:SNV2
FACTORscore:要素得分
03-16
要素得分 1.简介 该脚本可以处理任何连续数据（例如，RNA表达数据和CNV log2ratio值）以建立FACTORscore，请参考以下文献：胃癌中的肿瘤微环境特征鉴定了预后和免疫治疗相关的基因标志。 主要步骤： 标准化数据以进行无监督的聚类。 使用R中的ConsensusClusterPlus软件包进行聚类分析。 样本组通过聚类组之间的Kaplan-Meier（KM）生存分析和项目共识和聚类共识图中的无监督聚类方法来确定。 随后，使用威尔科克森秩和检验或Kruskal-Wallis检验对样本组中的每个基因进行差异分析，并将p值<0.05的基因鉴定为差异基因。 共识聚类算法也被用于定义差异基因的聚类。 为了获得每个基因组的主成分1，使用了主成分分析（PCA）算法进行了降维。 对基因组的PC1值进行cox回归分析以验证系数的正值或负值。 然后，我们应用了一种方法来定义每个样本的
fastconsensus-master_FastConsensus_一致性聚类_聚类_
09-30
一致性聚类（FastConsensus）是数据挖掘领域中一种用于确定数据集内潜在聚类结构的统计方法。它旨在提供一种量化的方式来评估不同聚类结果的一致性，从而帮助研究者选择最佳的聚类数量和分配。这种方法尤其适用于...
用于层次一致性聚类的 MATLAB 工具箱.zip
最新发布
06-02
"用于层次一致性聚类的 MATLAB 工具箱.zip" 文件显然为用户提供了实现层次一致性聚类（Hierarchical Consistency Clustering, HCC）的工具和函数，方便在 MATLAB 中进行此类分析。 层次一致性聚类是一种基于一致性...
层次聚类算法的有效性研究
02-23
《层次聚类算法的有效性研究》一文探讨了在层次聚类算法中如何评估和选择最佳的聚类结果，以满足用户的满意度。层次聚类是一种常见的无监督学习方法，它通过构建样本之间的相似性树状结构（ dendrogram）来划分数据...
空间一致性约束谱聚类算法用于图像分割
08-27
空间一致性约束谱聚类算法用于图像分割空间一致性约束谱聚类算法用于图像分割空间一致性约束谱聚类算法用于图像分割空间一致性约束谱聚类算法用于图像分割
PCM.zip_MATLAB 聚类_PCM可能性聚类_改进聚类_模糊聚类
09-21
PCM的可能性聚类算法则是在FCM的基础上引入了可能性理论，用以量化数据点属于特定类别的可能性。在PCM中，每个数据点的隶属度被解释为该点属于某一类别的概率，这样可以更好地处理不确定性和噪声，使得聚类结果更具...
机器学习实战（二）-聚类
遇见更好的自己
05-03 594
1、场景回想项目中遇到的，多商家信息融合的场景。我们如何把多商家的信息进行合理的匹配呢？首先想到的是人工匹配和程序匹配相结合。这样也可以实现，但费心费力，且实际匹配效果很差，如果商家融合信息呈指数级增长，这样的方式就太low了。那如何把这个流程做的智能化些呢？我们可以引入机器学习中的聚类，它可以将商家相关属性进行聚集，并分类。2、相关术语 簇: 所有数据点点集合，簇中对象相似。 质...
ConsensusClusterPlus根据基因表达量对样品进行分类
aorong2257的博客
09-12 4238
#http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2881355/ 一致聚类方法，采用重抽样方法来验证聚类合理性。 library(ALL)data(ALL)d=exprs(ALL)d[1:5,1:5] #对上面这个芯片表达数据我们一般会简单的进行normalization （本次采用中位数中心化），然后取在各个样品差异很大的那些gene...
ConsensusClusterPlus聚类与kmeans聚类原理差异？
07-16
ConsensusClusterPlus和K-means聚类是两种不同的聚类方法，它们的原理和应用也存在一些差异。 K-means聚类是一种基于距离度量的划分聚类方法，它将样本分成k个簇，通过最小化样本点与簇中心之间的距离来进行聚类。K-means聚类需要预先指定簇的数量k，并且对初始簇中心的选择敏感。该方法迭代地更新簇中心，直到达到收敛条件。 ConsensusClusterPlus是一种基于聚类的融合方法，旨在提高聚类结果的稳定性和可靠性。它通过对原始数据进行多次随机重抽样和聚类操作，得到多个聚类结果，并使用一致性矩阵来评估不同聚类结果之间的一致性。最终，ConsensusClusterPlus通过共识聚类算法将这些聚类结果合并成一个稳定的聚类解决方案。 ConsensusClusterPlus相比于K-means聚类具有以下特点： 1. 稳定性：ConsensusClusterPlus通过重复聚类操作和一致性矩阵评估，可以提供更加稳定和可靠的聚类结果，减少了单次随机初始化对结果的影响。 2. 自动确定簇的数量：ConsensusClusterPlus可以在聚类过程中自动确定最优的簇的数量，而不需要预先指定k值。 3. 聚类结果评估：ConsensusClusterPlus提供了一致性矩阵和其他评估指标，用于评估聚类结果的质量和可靠性。 总之，ConsensusClusterPlus是一种通过多次聚类和融合操作来提高聚类结果稳定性的方法，相比之下，K-means聚类是一种简单而常用的划分聚类方法。选择使用哪种方法取决于数据的性质、聚类目标以及对结果稳定性和可靠性的需求。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值