R语言大数据处理包：bigstatsr

最新推荐文章于 2025-03-11 11:28:52 发布

医学和生信笔记

最新推荐文章于 2025-03-11 11:28:52 发布

阅读量1.5k

点赞数 2

分类专栏：数据分析文章标签： r语言开发语言

本文链接：https://blog.csdn.net/Ayue0616/article/details/127804481

版权

数据分析专栏收录该内容

21 篇文章

订阅专栏

本文首发于公众号：医学和生信笔记，完美观看体验请至公众号查看本文。

文章目录

简介

包的作者是一位人类遗传学的博士生，需要处理的数据都是量级非常大的，但是作者非常喜欢用R语言，众所周知，R语言很慢！所以作者才开发了这个包解决自己的实际需求！

R包bigstatsr提供了大规模矩阵数据进行快速统计分析的函数。主要是使用了FBM（filebacked big matrices）和内存映射（memory-mapping）技术。

不光是生物信息学的数据，其他的类似数据都可以使用这个包进行处理哦！

注意：此包的多数算法都不能处理缺失值！

安装

# CRAN 
install.packages("bigstatsr")
# github
remotes::install_github("privefl/bigstatsr")

简单例子

library(bigstatsr)

# 创建数据
X <- FBM(5e3, 10e3, backingfile = "test")$save()

# 随机填充数据
U <- matrix(0, nrow(X), 5); U[] <- rnorm(length(U))
V <- matrix(0, ncol(X), 5); V[] <- rnorm(length(V))
NCORES <- nb_cores()

# X = U V^T + E，进行运算
big_apply(X, a.FUN = function(X, ind, U, V) {
  X[, ind] <- tcrossprod(U, V[ind, ]) + rnorm(nrow(X) * length(ind))
  NULL  
}, a.combine = 'c', ncores = NCORES, U = U, V = V)

# 查看部分值
X[1:5, 1:5]

# 分界奇异值，快速计算
obj.svd <- big_randomSVD(X, fun.scaling = big_scale(), ncores = NCORES)
plot(obj.svd)

# 结束
#unlink(paste0("test", c(".bk", ".rds")))

计算相关系数

mat <- X[]
dim(mat) #5000行，1000列的矩阵求相关系数，运算量很大了！

system.time(corr1 <- cor(mat)) #343.36   0.22 343.57

# 快了不是一点点！
system.time(corr2 <- big_cor(X)) #24.94  2.58  2.21

可以看到，快了不是一点点，***直接从343秒变成了2.21秒！***这还是在我的电脑更换了openblas的情况下！