R语言快速读取大文件
![alt](https://i-blog.csdnimg.cn/blog_migrate/ea298a215d43128f23a15265bc575b4d.png)
想象一下,一辆赛车在巴音布鲁克赛道上,嗖的一声飞驰而过,这种场景是不是很酷!R语言中,如果用vroom读取一个GB级别的大文件,也能体会到这种速度感。
![alt](https://i-blog.csdnimg.cn/blog_migrate/cbabde6cf81bcc0aa344a0798355db40.jpeg)
今天分享的一个R小技巧是读取大文件的最佳方式,尤其是GB以上的文件,比如常见的csv、tsv、txt等类型的文件。还可以批量读取、远程读取、自动解压缩,用起来体验非常不错。
如何使用?
install.packages("vroom")
library(vroom)
# install.packages("pak")
pak::pak("tidyverse/vroom")
首先安装一下,这个包是属于tidyverse生态圈,由Rstudio公司官方维护,主要是用C++进行优化。
![alt](https://i-blog.csdnimg.cn/blog_migrate/fe53ec95bc35480314aa87ca869edd1a.png)
官方宣称的速度可以达到1.23 GB/s
读取一个1.55G的文件,使用传统方式一分半,用vroom几秒钟就完成
![alt](https://i-blog.csdnimg.cn/blog_migrate/f99acc12622e0976ac8a34cd3ba95c28.png)
vroom有自动识别文件格式功能,所以不管是csv,还是tsv文件都只需要同一个读取指令vroom(”xxx.csv”)就可以。
读取CSV文件
vroom::vroom("mtcars.tsv",
col_types = list(cyl = "i", gear = "f",hp = "i", disp = "_",
drat = "_", vs = "l", am = "l", carb = "i")
)
#> # A tibble: 32 × 10
#> model mpg cyl hp wt qsec vs am gear carb
#> <chr> <dbl> <int> <int> <dbl> <dbl> <lgl> <lgl> <fct> <int>
#> 1 Mazda RX4 21 6 110 2.62 16.5 FALSE TRUE 4 4
#> 2 Mazda RX4 Wag 21 6 110 2.88 17.0 FALSE TRUE 4 4
#> 3 Datsun 710 22.8 4 93 2.32 18.6 TRUE TRUE 4 1
#> # ℹ 29 more rows
使用vroom包的vroom函数来读取一个名为"mtcars.tsv"的TSV文件(制表符分隔的值)。它指定了列的类型通过col_types参数。按照指定的列类型读取TSV文件,忽略不需要的列,确保数据以正确的格式被导入R环境中。
批量读取多个文件
library(nycflights13)
purrr::iwalk(
split(flights, flights$carrier),
~ { .x$carrier[[1]]; vroom::vroom_write(head(.x, 2), glue::glue("flights_{.y}.tsv"), delim = "\t") }
)
使用vroom包的vroom_write函数,这个函数的目的是将数据写入文件。head(.x, 2)取每个航空公司的前两条航班记录;glue::glue("flights_{.y}.tsv")使用glue包生成文件名,文件名包含航空公司代码;最后指定文件的分隔符为制表符(\t),生成的文件是.tsv格式。
直接读写压缩文件
vroom_write(flights, "flights.tsv.gz")
# Check file sizes to show file is compressed
fs::file_size(c("flights.tsv", "flights.tsv.gz"))
#> 29.62M 7.87M
# Read the file back in
data <- vroom("flights.tsv.gz")
vroom_write函数可以将数据从R中导出为文件,比如这里直接导出为压缩文件,减少储存空间。
读取指定列的数据
data <- vroom("flights.tsv", col_select = c(year, flight, tailnum))
#> Observations: 336,776
#> Variables: 3
#> chr [1]: tailnum
#> dbl [2]: year, flight
有的时候只需要部分数据,并不想全部导入,就可以用这种方法。
今天分享的小技巧就到这里结束啦,感谢您的阅读,如果感觉有所收获欢迎点在转发分享。这个方法在处理生物信息学大量数据时还是挺有用的,避免把时间浪费在文件读写上,让数据分析更加的丝滑流畅!
本文由 mdnice 多平台发布