R语言-超大型数据框与稀疏矩阵的切片-处理as.matrix方法的“problem too large”异常

最新推荐文章于 2023-10-30 16:02:17 发布
VIP文章 最新推荐文章于 2023-10-30 16:02:17 发布
阅读量715 收藏 1
点赞数 1
分类专栏： R语言-数据预处理 文章标签： r语言 矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nh_code/article/details/125489613
版权

单细胞组学数据分析接触到的项目大都使用平面文件(rds,txt,tsv,csv,mtx)进行数据存储。有时候，我们会操作相当大的平面文件，而超大型的数据集如（一个包含约 100 万个细胞和约 3 万个基因的表达矩阵）在进行数据类型转换等处理的时候会遇到异常Error in asMethod(object) : Cholmod error ‘problem too large’，指的是其中 as.matrix()转换常规矩阵，导致内存溢出。这个问题意味着处理数据的维度超过as.matrix()方法支持的最大矩阵维度 ( 2147483647 ( 2 31 − 1 ) ) (2147483647 (2^{31}-1)) (2

最低0.47元/天 解锁文章
Nh_code
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
From Motion Blur to Motion Flow: a Deep Learning Solution for Removing Heterogeneous Motion Blur
02-10
From Motion Blur to Motion Flow: a Deep Learning Solution for Removing Heterogeneous Motion Blur
R语言的稀疏矩阵太大可能就不能用as.matrix了
xuzhougeng blog
08-17 1万+
一个很大的矩阵， 320127 行, 8189列，假如用一个全为0的普通矩阵来存储，需要用到9.8Gb cols <- 8189 rows <- 320127 mat <- matrix(data = 0, nrow=320127, ncol = 8189) print(object.size(mat), unit="GB") # 19.5 Gb mat &lt...
Vectors及密集向量(dense)和稀疏向量(sparse)
CANDY的博客
02-21 4684
一、构造器 Vectors() 二、 方法 修饰符和类型 方法 说明 static Vector dense(double[] values) 从双精度数组创建密集向量 static Vector dense(double firstValue, double... otherValues) 根据参数值创建密集向量 static Vector dense(double firstValue, scala.collection.Seq<Object> otherValu
在UMAP图上标识我们感兴趣的基因所在的类群（单细胞数据）
weixin_40640700的博客
07-22 8624
参考链接： https://www.jianshu.com/p/37d2e8d68c91 我们这个代码要解决的需求，就是将我们从GEO数据库中下载的表达矩阵（.csv文件）使用seurat这个包进行处理。期望的目标是绘制出UMAP图，将我们感兴趣的基因标记在上面。 （1）目前，我对于seurat这个包的认识几乎为零。相当于是从头开始学。 （2）另一方面，我们所使用的这个处理矩阵的处理方式是相对比较模糊的。 这是我遇到的两个难题，我相信我每次都具有化险为夷的能力，我相信自己可以接下去克服难关。我希望我的.
Warning message: Removed 35 rows containing missing values (geom_bar).
chengdehe的博客
04-29 6489
画柱状图，结果报错，因为y轴范围 正常图 想变小改变y轴范围，使图好看些 scale_y_continuous(expand = c(0,0),limits = c(0,a)) ##改变后 scale_y_continuous(expand = c(0,0),limits = c(0.5,a)) 报错 Warning message: Removed 35 rows containing mi...
Notes—Dense Vector and Sparse Vector
code_caq的博客
07-02 3960
……未完待补充…… ref： 1. Spark官方文档 2. http://bbs.csdn.net/topics/391002544在spark.ml.linalg里有两种vector——DenseVector 和 Sparse Vector，两者都继承于Vectors1.两者区别 DenseVector： a value arraydef: Vectors.dense(values:
给你的R语言再次提速
医学和生信笔记的博客
08-08 694
包的作者是一位人类遗传学的博士生，需要处理的数据都是量级非常大的，但是作者非常喜欢用R语言，众所周知，R语言很慢！所以作者才开发了这个包解决自己的实际需求！R包bigstatsr提供了大规模矩阵数据进行快速统计分析的函数。主要是使用了FBM（filebacked big matrices）和内存映射（memory-mapping）技术。不光是生物信息学的数据，其他的类似数据都可以使用这个包进行处理哦！注意：此包的多数算法都不能处理缺失值！...
R语言分析单细胞数据Day1——下载Seurat包并进行预处理（一）
生信小白一枚，欢迎大佬一起讨论分析前沿技术！
01-20 1万+
Task.1 安装Seurat，准备处理single cell data 安装Seurat时，只能安装3.2.3以下的版本，太高就不兼容！ install.packages('remotes') %安装过可以省略 remotes:: install_version("Seurat", version = "3.2.3") % 安装不上可以更新R版本或者安装附属包 Task.2 加载Seurat包并导入数据 library(Seurat) % 这里可以设置你的路径，三个文件（mtx数据、行名和列名）都需要
基于R语言Rcpp包解决单细胞数据过大无法转换为Matrix的问题（附AUCell的简单使用）
m0_47675572的博客
08-26 974
解决单细胞数据过大无法转换为Matrix的问题
行业分类-设备装置-基于稀疏受限非负矩阵分解算法的超滤膜水处理预测方法.zip
08-31
行业分类-设备装置-基于稀疏受限非负矩阵分解算法的超滤膜水处理预测方法.zip
行业分类-设备装置-基于稀疏非负矩阵分解的图像检索方法.zip
09-08
行业分类-设备装置-基于稀疏非负矩阵分解的图像检索方法.zip
数据结构-稀疏矩阵的表示和转置(完整版)实用资料.doc
12-02
数据结构-稀疏矩阵的表示和转置(完整版)实用资料.doc
数据结构实验报告4-数组与广义表-基于十字链表的稀疏矩阵转置-实验内容及要求.docx
07-06
编写程序，从字符文件读入三个正整数m, n, t以及t个三元组(i, j, e)建立稀疏矩阵的十字链表存储结构。其中，m、n分别表示矩阵行数和列数；i, j为非零元素行号和列号。编写算法，实现矩阵转置，输出转置后的三元组到...
特殊矩阵、稀疏矩阵的表示实现与运算.docx
01-23
特殊矩阵、稀疏矩阵的表示实现与运算
converted from warning
最新发布
生信小博士的博客
10-30 536
或者之前只是告警，忽略告警的话代码正常运行，现在代码报错，这是由于 R 处理告警的机制导致的，告警一段时间后转变为报错，您需要根据告警信息修改代码或者或者通过设置让R不将告警转化为错误（不推荐）。代码修改为新的语法，报错的原因有可能是你的代码使用了不推荐的语法，所以以前只是警告一下，后面更新的版本直接就报错，以此来推动用户更新代码用法。本地或者其它服务器跑同样的代码是正常的，只是有警告，但是在西柚云服务器上面运行会报错？这是由于您两个环境使用的包版本不一样导致的，有如下解决方法。
Error: (converted from warning) 程辑包‘VGAM’是用R版本4.2.2 来建造的
生信小博士的博客
03-01 1013
关掉r，重新打开 加载包即可。
错误提示：‘DATA‘: SEGMENT TOO LARGE
彭宏喜的博客
06-11 2708
错误提示： ‘DATA’: SEGMENT TOO LARGE 解决方法：如图所示 原因分析： “Keil Cx51编译器提供三条编译模式控制命令：SMALL,COMPACT,LARGE，它们会对变量存储器空间产生影响。 SMALL 所有变量都被定义在8051单片机的片内RAM中，对这种变量的访问速度最快。另外，堆栈也必须位于片内RAM中，而堆栈的长度是很重要的，实际栈长取决与不同函数的嵌套深度。采用SMALL编译模式与定义变量时指定data存储器类型具有相同效果。 COMPACT 所有
ffmpeg播放rtsp视频流花屏解决办法
热门推荐
sz76211822的专栏
02-20 1万+
转载地址：http://blog.sina.com.cn/s/blog_9e7753030102vd5s.html 花屏有四个原因： 其一是发送数据包太大，超过了ffmpeg默认最大值。解决方法为下面的步骤 1。 其二是网络情况较差时，因网络状况出现的丢包而导致花屏。我这里是将有丢包的帧过滤掉，从而避免花屏现象。解决方法为下面的步骤2，3。 其三是因为解码出错。解决方法为下面的2，4，5，...
用三元组存储稀疏矩阵,实现其快速转置c语言代码,三元组稀疏矩阵快速转置C语言算法...
06-08
以下是三元组存储稀疏矩阵快速转置的C语言实现算法： ```c #include <stdio.h> #include <stdlib.h> #define MAXSIZE 1000 // 定义三元组最大元素个数 // 三元组结构体 typedef struct { int i, j, e; // 行下标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值