umap 速度测试

已于 2023-02-27 23:15:26 修改
阅读量403 收藏
点赞数
分类专栏： python 文章标签： python numpy
于 2023-02-16 13:42:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45759229/article/details/129059615
版权
该文对UMAP的运行速度进行了测试，使用不同数量的样本（从10,000到800,000）进行聚类和可视化。随着样本量增加，计算时间和内存需求显著上升，导致在达到800,000样本时因内存限制无法完成。作者提出，对于大型数据集，可以采用抽样方法来减少计算资源的消耗。
摘要由CSDN通过智能技术生成

今天终于把umap的速度给测了一下，结果如下

预处理文件（83万的数据量）

# import scanpy as sc 
# adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_raw.h5ad")
# print(adata)
# sc.pp.normalize_total(adata,target_sum=10000)
# sc.pp.log1p(adata)
# sc.pp.highly_variable_genes(adata, n_top_genes=2000, subset = True)
# sc.pp.scale(adata)
# sc.tl.pca(adata,svd_solver='arpack')

# #write to PCA h5ad 
# adata.write("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")

sample=10000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=10000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=20000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=20000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=50000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=50000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=100000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=100000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=200000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=200000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=400000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=400000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=600000

import scanpy as sc 
#import hnswlib
import scanpy as sc
import pandas as pd
from time import time 
# 怎么关闭warning
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
############################
n_sample=600000
############################

adata=sc.read("/DATA1/zhangjingxiao/yxk/dataset/FullMouseBrain/FullMouseBrain_pca.h5ad")
adata=sc.pp.subsample(adata,n_obs=n_sample,copy=True)
print(adata.obsm["X_pca"].shape)
t0=time()
sc.pp.neighbors(adata)
sc.tl.umap(adata)
t1=time()
print("*"*50)
print("*"*50)
print("umap sample={}，fit cost {}s".format(n_sample,t1-t0))
print("*"*50)
print("*"*50)
sc.pl.umap(adata,color = ["BATCH", "celltype"])

在这里插入图片描述

sample=800000

这个发生错误，因为计算sc.pp.neighbors()太耗内存了，内存直接炸掉了，所以出不来结果，不过这个时间应该在一个小时左右

环境如下

在这里插入图片描述
在这里插入图片描述
我觉得我没必要每次看umap都要看全部的数据，例如我可以抽样看下结果，例如我完全可以抽半来看结果，这种情况是可以的。

我的心永远是冰冰哒
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【降维算法UMAP】调参获得更适合的低维图
weixin_40695088的博客
03-03 4443
为什么要降维：单细胞转录组数据往往是数千*数万（细胞数*基因数）的矩阵数据，降维可以帮助可视化和理解大型高维数据集。降维算法：在单细胞转录组生信分析中，常见的降维算法有两种，UMAP和T-SNEUMPA运算速度会更快，并且在保留数据结构的同时提供了更好的扩展性。UMAP的主要步骤学习高维空间中的流形结构找到该流形的低维表示，优化低维图。
机器学习算法：UMAP 深入理解
冷冻工厂
11-12 7622
导读 降维是机器学习从业者可视化和理解大型高维数据集的常用方法。最广泛使用的可视化技术之一是 t-SNE[1]，但它的性能受到数据集规模的影响，并且正确使用它可能需要一定学习成本。 UMAP[2] 是 McInnes 等人开发的新算法。与t-SNE相比，它具有许多优势，最显着的是提高了计算速度并更好地保留了数据的全局结构。在本文[3]中，我们将了解UMAP背后的理论，以便更好地了解该算法的工作原理、如何正确有效地使用它，以及与t-SNE进行比较，它的性能如何。 UMAP projection 那么，UMAP
scanpy子图显示问题
qq_45759229的博客
10-30 1014
对于scanpy来说，虽然直接使用sc.tl.umap()，可以直接画一行的多列图，但是必须每一列的表现形式一样，这样有一点不美观，例如我有两列的图，第一列是celltype的分布图，第二类是对应的louvain聚类图，但是louvain聚类图我希望legend_loc=“on data”,这个时候用sc.tl.umap() ...
UMAP的内置算法 | Nearest-Neighbor-Descent | K近邻图
最新发布
m0_72160465的博客
04-02 713
散列表（Hash table，也叫哈希表），是根据键（Key）而直接访问在内存存储位置的数据结构。也就是说，它通过计算一个关于键值的函数，将所需查询的数据映射到表中一个位置来访问记录，这加快了查找速度。这个映射函数称做哈希函数，存放记录的数组称做哈希表。
【Scanpy】单细胞转录组分析思路之细胞分类
关关难过关关过
11-24 3156
本文将详细讲述单细胞转录组分析的步骤，包括预处理，归一化、降维，聚类和下游分析等。
UMAP Journal 36.3 2015 MCM Contest
01-07
从标签《umap journal umap mcm 美赛》可以确认，这份文件关联的主题包括UMAP期刊、数学建模竞赛（MCM），以及美赛（MCM的中文简称）。这可以引导我们了解这本期刊的主要内容与数学建模紧密相关，并且涉及到国际竞赛...
2018umap 美赛 icm
01-23
COMAP is proud to announce the winner of the third annual Doug Faires Award, Anne Dougherty of the University of Colorado Boulder.
2018年umap期刊美赛mcm
01-23
Since 1985, we have run modeling contests. In fact, COMAP now administers the MCM!R /ICM!R contests at the undergraduate level as wellas HiMCM!R and IMMC!R at the high school levels All told, more ...
美赛数模资源2018uMAP
01-17
### 美赛数模资源2018uMAP知识点概览 #### 一、ICM2018年美国大学生数学建模竞赛-UMAP背景介绍 在深入解析本次数学建模竞赛的具体内容之前，我们需要对ICM（Interdisciplinary Contest in Modeling）有一个基本的...
UMAP Journal 36.2 2015 ICM Contest
01-07
UMAP Journal 36.2是2015年ICM竞赛（即Interdisciplinary Contest in Modeling，跨学科建模竞赛）的相关文献，由美国数学及其应用联合会（COMAP, Inc.）出版。这篇杂志是一本综合性的学术期刊，涵盖了许多与数学建模...
uwot：一种实现UMAP降维方法的R包
02-05
UMAP（Uniform Manifold Approximation and Projection）是一种新兴的数据降维技术，主要用于可视化高维数据。它通过构建一个低维嵌入，尽可能保留了原始数据的拓扑结构，因此在科学数据分析、机器学习和数据探索等...
UMAP Journal美赛O奖论文评析 2016-2018
01-20
UMAP Journal是美国大学生数学建模竞赛（MCM/ICM）的重要参考资料，该压缩包包含2016年至2018年期间的高清非扫描版本，旨在为参赛学生提供高质量的学习材料。美赛，全称为美国国际大学生数学建模竞赛（Mathematical ...
UMAP Journal 2011
11-29
### UMAP Journal 2011：美国大学生数学建模竞赛论文及结果报告 #### 概述 《UMAP Journal》是一本专注于应用数学领域的学术期刊，由COMAP（Consortium for Mathematics and Its Applications）出版。该期刊旨在...
umap：均匀流形逼近和投影
02-03
UMAP（Uniform Manifold Approximation and Projection）是一种新兴的非线性降维技术，主要用于数据可视化和探索。在机器学习领域，数据降维是至关重要的一步，它可以帮助我们理解高维度数据的结构，并将复杂的关系...
umap算法_UMAP的初步了解及与t-SNE的比较
weixin_39701768的博客
02-22 1734
降维是机器学习中的可视化和理解高维数据的强大工具。t-SNE是最广泛使用的可视化技术之一，但其性能在大型数据集中会受到影响。UMAP是McInnes等人的一项新技术。与t-SNE相比，它具有许多优势，最显著的是提高了速度并更好地保存了数据的全局结构。例如，UMAP可以在3min之内处理完784维，70000点的MNIST数据集，但是t-SNE则需要45min。此外，UMAP倾向于更好地保留数据的全...
机器学习算法：UMAP 深入理解（通俗易懂！）
HB_id01289的博客
02-07 3997
UMAP 是 McInnes 等人开发的新算法。与t-SNE相比，它具有许多优势，最显着的是提高了计算速度并更好地保留了数据的全局结构。降维是机器学习从业者可视化和理解大型高维数据集的常用方法。最广泛使用的可视化技术之一是 t-SNE，但它的性能受到数据集规模的影响，并且正确使用它可能需要一定学习成本。
Scanpy(六)空间转录组数据的分析与可视化
热门推荐
白景屹的博客
06-11 1万+
本篇内容演示如何在Scanpy中使用空间转录组数据（spatial transcriptomics data），首先，我们专注于10x Genomics Visium data，最后，我们为MERFISH技术的空间转录数据分析提供了示例。目前空间转录组技术基本上还未到单细胞水平，一般一个空间位置spots上有多个细胞，10X Genomics Visum一般为1-10个细胞，空间转录组学能够提供空间位置，但是分辨率达不到单细胞水平，单细胞转录组学分辨率能够达到单细胞分辨率，但是没有空间位置信息，因此将空间转
umap入门
weixin_47517341的博客
07-26 3481
umap定义和聚类使用
python UMAP
07-27
UMAP (Uniform Manifold Approximation and Projection) 是一个用于降维和数据可视化的 Python 库。它可以将高维数据映射到低维空间，同时保持数据之间的局部和全局结构。UMAP 结合了 t-SNE、PCA 和其他降维方法的优点，并具有更快的运行速度。 使用 UMAP 需要先安装 umap-learn 库。你可以使用 pip 命令进行安装： ``` pip install umap-learn ``` 安装完成后，你可以导入 UMAP 并使用它进行降维和数据可视化。以下是一个简单的示例： ```python import umap # 创建 UMAP 对象 umap_model = umap.UMAP() # 使用 fit_transform 方法对高维数据进行降维 low_dim_data = umap_model.fit_transform(high_dim_data) # 可选：使用 scatter 方法将降维后的数据可视化 import matplotlib.pyplot as plt plt.scatter(low_dim_data[:, 0], low_dim_data[:, 1], c=labels) plt.show() ``` 在这个示例中，`high_dim_data` 是高维数据集，`low_dim_data` 是降维后的低维数据。你可以选择是否对降维后的数据进行可视化。 UMAP 还提供了其他参数和方法，可以根据具体需求进行调整和使用。你可以参考官方文档或其他教程来深入了解 UMAP 的更多功能和用法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值