R中6种读入表格数据的方式哪个最快？结果出人意料！

于 2024-08-22 16:57:19 发布
阅读量573 收藏 3
点赞数 10
文章标签： r语言 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qazplm12_3/article/details/141432644
版权

R怎么读入表格数据最快？

R中有6个常用数据读取函数：

  1. utils::read.csv: 默认使用的读入方式 (read.table)

  2. readr::read_csv: readr包中的读入函数 (RStudio中默认也包含了这一方式)

  3. data.table::fread: 来自data.table包

  4. base::load: 加载rda文件

  5. base::readRDS: 读取二进制数据

  6. feather::read_feather: 一种新的feather格式的二进制数据

生成测试数据

set.seed(123)
df <- data.frame(replicate(10, sample(0:2000, 15 * 10^5, rep = TRUE)),
                 replicate(10, stringi::stri_rand_strings(1000, 5)))
dim(df)

[1] 1500000      20

把数据存储为csv格式，feather格式, RDS格式和Rdata格式。

path_csv <- 'df.csv'
path_feather <- 'df.feather'
path_rdata <- 'df.RData'
path_rds <- 'df.rds'
library(feather)
library(data.table)
write.csv(df, file = path_csv, row.names = F)
write_feather(df, path_feather)
save(df, file = path_rdata)
saveRDS(df, path_rds)

计算下各个文件的大小；

  • RDS和RData占的空间最小，不到30M

  • feather文件占的空间最大，185M

  • CSV文件占了179M，与feather相差不大

files <- c('df.csv', 'df.feather', 'df.RData', 'df.rds')
info <- file.info(files)
info$size_mb <- info$size/(1024 * 1024)
print(subset(info, select=c("size_mb")))

##              size_mb
## df.csv     179.46119
## df.feather 185.96806
## df.RData    29.93043
## df.rds      29.93044

评估速度

采用microbenchmark包比较使用不同函数读取所需时间。

基于一台破笔记本的速度评估

library(microbenchmark)
benchmark <- microbenchmark(readCSV = utils::read.csv(path_csv),
               readrCSV = readr::read_csv(path_csv, progress = F),
               fread = data.table::fread(path_csv, showProgress = F),
               loadRdata = base::load(path_rdata),
               readRds = base::readRDS(path_rds),
               readFeather = feather::read_feather(path_feather), times = 10)
# save(benchmark, file = "benchmark.rda")

  1. 速度最快的是feather::read_feather,但需要预先把数据存储为feather格式。

    其次是fread，但差别不明显。

  2. load和readRDS没有表现出速度优势，但却需要对文件进行格式转。

  3. fread函数读取csv的速度最快；

    readr::read_csv函数次之；

    默认使用的read.csv速度最慢。

# load("benchmark.rda")
# min最小耗时
# lq, uq 耗时的第一和第三四分位数
# max最大耗时
summary(benchmark)

##          expr        min         lq       mean     median         uq       max neval
## 1     readCSV 18167.9870 18788.3618 19925.4103 19007.2041 22030.0041 23347.212    10
## 2    readrCSV  3464.2280  4000.4398  4275.1156  4244.4979  4323.3464  5383.394    10
## 3       fread   942.6006   977.3619  1252.6054  1265.5249  1429.5995  1741.290    10
## 4   loadRdata  4759.2474  4797.0618  5409.0172  5128.4355  6019.2456  7179.577    10
## 5     readRds  4808.1431  4891.1552  5653.4468  5708.4353  6233.9128  6473.565    10
## 6 readFeather   673.4313   739.8717   894.3114   871.7041   934.1121  1351.928    10

基于一台SSD硬盘的工作站速度评估

library(microbenchmark)
benchmark2 <- microbenchmark(readCSV = utils::read.csv(path_csv),
               readrCSV = readr::read_csv(path_csv, progress = F),
               fread = data.table::fread(path_csv, showProgress = F),
               loadRdata = base::load(path_rdata),
               readRds = base::readRDS(path_rds),
               readFeather = feather::read_feather(path_feather), times = 10)
save(benchmark2, file = "benchmark2.rda")

  1. 速度最快的是readr::read_csv,其次是feather::read_feather，然后是fread。

  2. 默认使用的read.csv速度最慢。

load("benchmark2.rda")
print(benchmark2, signif = 2)

## Unit: milliseconds
##         expr  min   lq mean median   uq  max neval
##      readCSV 9200 9200 9300   9300 9400 9600    10
##     readrCSV  240  250  290    260  270  470    10
##        fread  500  520  540    530  550  620    10
##    loadRdata 2500 2600 2600   2600 2600 2600    10
##      readRds 2500 2500 2600   2600 2600 2600    10
##  readFeather  370  410  410    410  440  450    10

原始文章的测试结果中，

  1. 速度最快的是feather,但需要预先把数据存储为feather格式。

    数据库保存为feather格式是很快的，适用于需要读取某个大文件或程序运行中计算出的结果时。

  2. load和readRDS速度稍次，但也需要对文件进行格式转换，优点是存储的文件较小。

  3. fread函数读取csv的速度最快；

    readr::read_csv函数次之；

    默认使用的read.csv速度最慢。

##Unit: seconds
##        expr   min    lq       mean median    uq   max neval
##     readCSV 200.0 200.0 211.187125  210.0 220.0 240.0    10
##    readrCSV  27.0  28.0  29.770890   29.0  32.0  33.0    10
##       fread  15.0  16.0  17.250016   17.0  17.0  22.0    10
##   loadRdata   4.4   4.7   5.018918    4.8   5.5   5.9    10
##     readRds   4.6   4.7   5.053674    5.1   5.3   5.6    10
## readFeather   1.5   1.8   2.988021    3.4   3.6   4.1    10

测试结论

  1. 最常用的read.table在每个测试中都是表现最差的。

  2. `readr::read_csv` （处理不同编码更合适，R中读取包含中文字符的文件时这个诡异的错误你见过吗?）和`data.table::fread`可以作为日常使用或读取大表格的首选。

  3. 不同电脑测试结果差别大（可能是软件版本的问题，也可能是硬件特征问题）。别人用着快的你不一定用着快，多尝试。

  4. 读友评论：readr新版本升级之后使用vroom的内核来进行读取，所以速度非常快。值得注意的是，vroom读取的其实并不是完整的数据，只是一种index，所以在之后的操作(比如rbind合并数据框)会展现出比较慢的情况。适合读入大文件，过滤一部分后，进行操作。

  5. 读友评论：使用data.table::fread进行读取默认使用多线程操作，在服务器cpu高负荷时会影响读取速度。总的来说，fread和vroom(read_csv/tsv)是我最喜欢的两种方式，跟作者意见一致。

参考

  1. https://appsilon.com/fast-data-loading-from-files-to-r/

生信宝典
关注
R语言读取数据
weixin_45860475的博客
10-20 8238
R语言读取数据 Ctrl+Shift+PgDn ——>全选 1. 从剪切板读取 dat<-read.table("clipboard",header = T) dat 运行结果： 或 X=read.table("clipboard",header = T) #将剪切板数据读入数据框X中 head(X) #显示前6组数据 2. 从Excel文件读取 X=read.csv('C:\\Users\\Administrator\\Desktop\\data.csv') X 运行结果： R语言
r语言读入数据
weixin_39329900的博客
06-14 1370
文件的输入：1、SPSS-STATA格式     读入包——foreign，语法：install.packages("foreign")     语法：spss&lt;-read.spss("hsb2.sav",to.data.frame=T) stata&lt;-read.dta("hsb2.dta")2、常见的格式        read.table、read.csv 、readLine（字符...
R语言——（四）、数据读入与预处理
hexiaosi_的博客
06-30 1万+
数据读入方式：直接输入、外部数据读入c()函数方式输入 scan()函数输入数据 先安装scan包 2.读R包中的数据 2.1查看当前环境下的数据：ls()函数 2.2删除数据: rm()函数 2.3查看所有预先提供的数据：data() 2.4查看某个包所有预先提供的数据：data(package=‘’) 2.5读入数据：data(datasetname) 2.6查看SemiPar包中的数据 install.packages(SemiPar) data(package=“SemiPar”)读入SemiPa
如何在R语言中读取数据
Unitue_逆流
07-06 8464
转自：https://blog.csdn.net/revivre/article/details/78522840 如何在R语言中读取数据 读取数据有以下几种方式： 1.最常用的是采用读取表格数据的函数 read.table()以及read.csv().。这些函数读取一种以行列的格式存储数据的文本文件，然后在R中返回一个数据框。 2.readLines()用于逐行读取文本文件，实际上可以...
r语言读取excel数据_R语言 | 更快的表格文件读取方法！
weixin_39606396的博客
12-08 2058
友情提示：蓝色下划线字体为引文，请保持警惕！使用R语言读取 Affymetrix Human Exon 1.0 ST Array 芯片平台探针注释文件：https://www.affymetrix.com/analysis/downloads/na36/wtexon/HuEx-1_0-st-v2.na36.hg19.probeset.csv.zip解压后的.csv文件有950MB+，部分...
MATLAB读入数据的几种方式探讨.pdf
11-02
MATLAB读入数据的几种方式探讨 在MATLAB中，有多种方式可以读入数据，但不同的函数有不同的特点和应用场景。如果错误地选择了不合适的函数，不仅运行效率低下，还可能导致程序不能正常工作。因此，在充分了解各...
rstudio中读取数据_R语言数据分析(2)——数据读入与写入
weixin_34231219的博客
12-23 5370
这一节介绍数据的读入和写入，要在R中做数据分析，首先需要将相关的数据读入，读入的方法多种多样，即使同一个文件，加载不同的包都有不同的读入方法，这里介绍一些比较常见的。直接编辑可以通过直接输入的方式输入数据，编辑的对象是数据框，如：data1fix(data1)这里的fix函数是打开表格，你就可以直接输入数据，打开的操作界面如下：然后我们在第二行第一列直接输入一个数据3，然后点击关闭然后再打开，可以...
易语言-fpSPR80超强表格基本功能示例2万数据秒读入
06-25
第三方表格控件fpSPR80具有加载数据速度快，可以做到2万数据秒读入，可绑定数据库，且有各种功能强大等优点，其功能远超易表格、超级列表框和高级表格。 本人连续学习fpSPR80超强表格一段时间，为节约大家学习此表格...
C#把excel表格中的数据读入到数组
12-10
### C#将Excel表格中的数据读入到数组 在日常工作中，我们经常需要处理大量的Excel文件，特别是当这些文件作为数据源时。本篇将详细介绍如何利用C#语言实现将Excel表格中的数据读取到数组中，从而方便进行进一步的...
易语言ACCESS库表Ａ中的数据读入表Ｂ中
08-15
ACCESS库表Ａ中的数据读入表Ｂ中 系统结构:易语言ACCESS库表Ａ中的数据读入表Ｂ中源码,ACCESS库表Ａ中的数据读入表Ｂ中 ======窗口程序集1 | | | |------ _按钮1_被单击
R语言数据分析基础（一）- 使用R语言读取Excel
最新发布
hello！
03-29 2857
函数来获取所有工作表的名称，然后循环读取每个工作表。包可以写入Excel文件。读取Excel文件中的特定工作表，可以使用。对Excel文件中的特定列感兴趣，可以使用。对Excel文件中的特定行感兴趣，可以使用。在Excel文件中处理日期和时间，可以使用。读取Excel文件中的所有工作表，可以使用。在R中，读取和操作Excel文件最常用的。处理的是非常大的Excel文件，可以使用。函数可以将数据框写入Excel文件。包，可以读取Excel文件，参数指定写入的工作表名称。函数读取Excel文件。
R语言读入数据
三少GG
03-14 4718
R语言读入数据 已有 3385 次阅读 2012-10-9 15:21 |个人分类:R语言学习|系统分类:科研笔记|关键词:R注入数据 一、   R 导入文本文件   R中导入数据的基本命令是scan()。比较常用的命令有read.table()、read.csv()、read.fwf()等，这些命令其实在内部也是通过调用scan()实现的，它们可以看作是scan()的
R语言数据读取以及数据保存方式
shengyin714959的博客
07-08 6557
getwd() : 返回当前工作目录setwd("d:/data") 更改工作目录read.table() : 读取文本文件read.csv(): 读取csv文件如果出现缺失值，read.table()会报错，read.csv()读取时会自动在缺失的位置填补NAscan() :read.fwf()文本文档中最后一行的回车符很重要，这是一个类似于停止符的标识，否则读入时会显示“最后一行不完整”的警告，但是不影响数据读入的效果。（1）第一种方法首先打开Excel，选中需要的数据后复制，然后再R中输入以下的指令：
手把手教你用R语言读取CSV文件
热门推荐
大数据
08-23 8万+
导读：R语言有许多种方法去获取数据，最常用的是读取CSV文件。作者：Jared P. Lander来源：大数据DT（ID：hzdashuju）读取CSV文件最好的方法是使用read.ta...
R语言之读取Excel及csv数据
Mezzie的博客
04-24 7万+
R语言读取数据的几种方法，用read.table()，read.xlsx()读取Excel,csv数据
R语言︱文件读入、读出一些方法罗列（批量xlsx文件、数据库、文本txt、文件夹）
素质云笔记
04-08 7万+
笔者寄语：批量读取目前看到有以下几种方法：xlsx包、RODBC包、批量转化成csv后读入。 xlsx包 首先尝试用R包解决。即xlsx包。 xlsx包在加载时容易遇到问题。基本都是由于java环境未配置好，或者环境变量引用失败。因此要首先配置java环境，加载rJava包。 百度了一下，网上已有很多解决方案。我主要是参考这个帖子，操作步骤为： 1、 安装最新版本
R语言数据获取与读入
tidyss
10-31 4209
内容目录 直接输入数据导入带分隔符文本数据导入csv格式导入xlsx、sas、dta格式数据导入sav格式数据 在R语言中，数据的获取方式主要有三种。一种是直接使用R语言的文本编辑器功能进行录入需要分析的数据。一种是读取各类数据文件，如txt、csv、xlsx、sav、dta、sas等。还有一种是使用爬虫包进行数据获取，如rvest包、Rcurl包。 以爬虫方式获取数据，本章不涉及，另立专题...
R语言读取Excel电子表格数据7种方法比较（结果惊呆本宝宝）
gtxing的博客
10-15 1万+
宝宝已惊呆，说不出话来，该选哪种方法读取Excel表格里的数据，我相信大众的眼睛是雪亮的： 1.实验规模16.3989万行，22列 实验电脑配置环境，说好了不能瞧不起博主啊哈> nrow(read.csv("g:/001.csv")) [1] 163989 > ncol(read.csv("g:/001.csv")) [1] 222.将Excel数据另存为.csv格式文件 方法一：耗时0.07
r语言读入中文表格指令
05-29
在R语言中，读入中文表格的指令与读入英文表格的指令基本相同。常用的读取表格的函数有read.table()和read.csv()。 例如，如果你要读入一个以逗号分隔的中文表格，可以使用以下代码： ``` data <- read.csv("中文表格.csv", header = TRUE, sep = ",", fileEncoding = "UTF-8") ``` 其中，参数header指定数据文件中是否包含表头信息；参数sep指定数据文件中的字段分隔符；参数fileEncoding指定数据文件的编码格式，这里使用UTF-8编码格式。 如果你的数据文件不是以逗号分隔的，可以将sep参数指定为数据文件中的字段分隔符，例如： ``` data <- read.table("中文表格.txt", header = TRUE, sep = "\t", fileEncoding = "UTF-8") ``` 其中，"\t"表示制表符，常用于以制表符分隔的数据文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生信宝典

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值