【R语言】大数据多文件读取与合并

最新推荐文章于 2023-07-24 09:17:10 发布
最新推荐文章于 2023-07-24 09:17:10 发布
阅读量2.6k 收藏 12
点赞数 1
文章标签： r语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46623488/article/details/125986797
版权

简单读取与3种合并

# 读取文件 【循环读取为环境的一个个数据框】
lf <-list.files(pattern = ".csv$") 
(files <- gsub("\\.csv", "", lf))
(filesNewname=gsub(pattern = "-","_",files)) #文件名短杠-改成_
for (i in seq_along(files)) 
  assign(paste0("A",filesNewname[i]), 
         read.csv(lf[i],check.names = FALSE,
                  blank.lines.skip=TRUE)) #跳过前面空白行

# 合并1 【多数据框合并-合并前需合并为List】
 multimerge<-function(dat=list(),...){
   if(length(dat)<2)return(as.data.frame(dat))
   mergedat<-dat[[1]]
   dat[[1]]<-NULL
   for(i in dat){mergedat<-merge(all=TRUE,mergedat,i,...)}
   return(mergedat)
 }
 
files2=ls(pattern = "_");files2
listALL=list()
 
# 数据框合成List
 for (i in 1:length(ls(pattern = "_"))) {
   eval(parse(text = paste0("listALL","[[",i,"]]", " <-",files2[i])))
 }
# 合并1
dataALL <- multimerge(listALL)


# 检查多个数据框变量名是否都一致
# dataA[i,1:2]=as.vector(table(a%in%names(A2005_2)))
a=names(A2005_1);a
dataA=data.frame()
for (i in seq_along(files2)) {
   eval(parse(text = paste0(
     "dataA[",i,",1:2]=as.vector(table(a%in%names(",files2[i],")))"
   )))
}

rm(list = files2)

# 合并2 【同合并1为核心merge函数】
#想返回所有的值需要开启accumulate参数
dataALL=Reduce(function(x,y) merge(x,y,all=TRUE),
               listALL,accumulate =FALSE)
			   
# 合并3 【bind_rows注意看后面警告内容】
dataALL=dplyr::bind_rows(listALL)  #

保存为.RData格式

# 保存为.Rdata,环境的数据
save(data1, data2, data3,file = "study1.RData")
#使用save.image()函数保存工作目录下所有的变量
save.image(file = "study1.RData")
# 读取
load("study1.RData")

# 模糊指定保留
a=ls()[match(ls(pattern = "data"),ls())]
save(list = a,file = "study1.RData")

读取的空白行列删除处理

library(janitor)
df <- data.frame(x=c(5,2,NA),y=c(1:2,NA),
                 z=c(3,2,NA),q=c(NA,NA,NA));df
remove_empty(df)
remove_empty(df,which = "rows")
remove_empty(df,which = "cols")
remove_empty(df,which=c('rows','cols'))

等分数据-Reduce-merge

# 10等分 【10的位置可改为100，需要多次循环复制代码】
e=1:length(listALL)
ee=cut(e,breaks=10,labels=F)
e[ee==1];e[ee==1][1];e[ee==1][length(e[ee==1])]
e1=e[ee==1][1]:e[ee==1][length(e[ee==1])];e1
e2=e[ee==2][1]:e[ee==2][length(e[ee==2])];e2
e3=e[ee==3][1]:e[ee==3][length(e[ee==3])];e3

for (i in 1:10) {
    eval(parse(text = paste0(
    "eee",i,"=e[ee==",i,"][1]:e[ee==",i,
    "][length(e[ee==",i,"])];print(eee",i,")")))
}

# 单个准备
# dataALL1=Reduce(function(x,y) merge(x,y,all=TRUE),
#                 listALL[1:4],accumulate =FALSE)
# dataALL2=Reduce(function(x,y) merge(x,y,all=TRUE),
#                 listALL[5:8],accumulate =FALSE)
# dataALL=Reduce(function(x,y) merge(x,y,all=TRUE),
#                 list(dataALL1,dataALL2,dataALL3),
#                accumulate =FALSE)
# 循环合并
for (i in 1:10) {
  eval(parse(text = paste0(
    "datALL",i,"=Reduce(function(x,y) merge(x,y,all=TRUE),",
    "listALL[eee",i,"],accumulate =FALSE)"
  )))
}

# 10个初步合成的数据框合成list
listALL2=list()
files3=ls(pattern = "datALL");files3
for (i in 1:length(ls(pattern = "datALL"))) {
  eval(parse(text = paste0(
    "listALL2","[[",i,"]]", " <-",files3[i])))
}
# 大合并
dataALL=Reduce(function(x,y) merge(x,y,all=TRUE),
               listALL2,
               accumulate =FALSE)
save(dataALL,file = "study1.RData")

急速版

# 读取数据
lf <-list.files(pattern = ".csv$") 
(files <- gsub("", "", lf))
datalist=lapply(files, function(x) read.csv(x,header=T,stringsAsFactors=F))
# 或者
library(purrr)
map(files,read.csv)
# 【上面都是生成list】

# 直接读取生成数据框   # 【一步到位】
DataFrameAll=map_df(files,function(x) read.csv(x,header=T,stringsAsFactors=F))  
# 同list转为data已验证，
# Reduce(function(x,y) merge(x,y,all=TRUE),datalist,accumulate =FALSE)

# 去空白,可以去掉只有列名的列
map_df(datalist, function(x) janitor::remove_empty(x,which=c('rows', 'cols')))

# 变量全部转为字符【只根据报错变量专字符】
datalist[[11]][["联系电话"]] <- as.character(datalist[[11]][["联系电话"]])
datalist[[12]][["联系电话"]] <- as.character(datalist[[12]][["联系电话"]])
str(datalist[[11]][["联系电话"]])

# 合并数据 【3种任选一】
datalist2=do.call(dplyr::bind_rows,datalist)
# 保存
save(datalist2,file = "study2.RData")

笔记/警告

{{< note title=“数据挑选与过滤”>}}

## 按名称/特定变量名去掉列 【数据框】
# 定位向量所在向量的位置，第几列
match("VAR1",names(data))
which("VAR2"==names(data))

a=match(c("VAR1","VAR5","VAR3"),names(data));a
data2=subset(data,select = c(-a))

# list里面数据框的提取为list 【list】
# 【需要定义function，此时Rbase函数大部分不能使用】
a=map(datalist, function(x) select(x,年龄,性别))
b=map(datalist, function(x) filter(x,年龄=="30岁"&性别=="男"))
# 替换为map_df，提取为数据框

{{< /note >}}

{{< note title=“内存计算”>}}

## 查看内存大小MB 多少M
print(object.size(data), units = "auto", standard = "SI")   
print(object.size(data2), units = "auto", standard = "SI")

{{< /note >}}

三个合并函数讨论

{{< warning title=“三个合并函数讨论”>}}

xlist <- list(w=data.frame(a=c(1,2,3),b=c(7,8,9)),
          z=data.frame(b=c(6,8,9),a=c(1,2,3)),
          q=data.frame(a=c(1,2,3),b=c(6,88,9)) );xlist
w=x[[1]];z=x[[2]];q=x[[3]]

bind_rows(w,z,q) # 【数据框-错误】
bind_cols(w,z,q) # 【数据框-错误】
do.call(bind_rows,xlist) #【List-错误】

merge(w,z,all = T) #【数据框-正确】
full_join(w,z) #【数据框-正确】
# list-三个数据框合并 【List-正确】
Reduce(function(x,y) merge(x,y,all=TRUE),xlist,
       accumulate =F)
Reduce(function(x,y) full_join(x,y),
               xlist,accumulate =FALSE)

{{< /warning >}}

{{< warning title=“dplyr::bind_rows()” >}}
bind_rows(list(data1,data2)) 也会像merge一样智能合并？

如果数据一个变量存在相同的多行，就有多少行

合并一定要先降重复 确保大数据一定不会有重复-其实少数重复无大影响

不同数据变量名可以顺序不一样
{{< /warning >}}

还没想好123
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
R进行批量读取ｔｘｔ 合并到一起
Mrrunsen的博客
07-25 1102
当使用R进行批量处理文件时，我们通常会使用循环结构（如for循环）来处理一系列文件，以及使用R的文件处理函数来读取、处理和写入文件。首先，创建一些示例文本文件。假设您有一系列包含数字的文本文件，每个文件中包含一行数字，您希望将每个文件中的数字相加并将结果输出到新的文件中。示例：将多个文件中的数字相加并输出结果。
R语言合并多个文件
onlookerq的博客
08-02 1278
R语言合并多个文件
大数据技术原理及应用课实验7 :Spark初级编程实践
最新发布
01-16
其次，Spark应用程序的编写通常使用Scala、Java、Python或R语言。在实验中，推荐使用Scala编写独立的应用程序，这需要对Spark的API有一定的了解。比如，统计文件行数可以使用`count()`方法，而创建Spark应用并打包成...
python快速合并csv文件.rar
02-23
本示例中，我们关注的是如何快速合并多个CSV文件，并将它们的文件名作为新列添加到结果文件中。这个过程可以使用内置的`csv`模块，或者更强大的`pandas`库来实现。以下将详细介绍这两个方法。 首先，让我们从基础...
R语言编程基础-习题数据和答案.rar
07-13
【泰迪科技】大数据产品体系.png"等图片文件可能是关于泰迪科技公司的简介及其产品服务的介绍，这可能与R语言课程的背景或实践应用相关，但具体的学习内容需要查看图片才能确定。 总的来说，这个压缩包为学习R语言...
面向数据的思维模式和R语言编程.pdf
10-15
R语言拥有丰富的库和包，能够高效地执行各种数据操作，如合并、分组、排序、筛选、转置、差分、填充缺失值以及进行复杂的数学计算和统计检验。例如，`merge()`函数用于合并数据，`group_by()`函数实现按列分组，`...
实验七：Spark初级编程实践
07-15
- `RemDup` 应用实现了合并两个文件并去除重复项的功能，同样通过 `sbt` 打包并提交到 Spark 集群运行。 4. **数据处理示例** 实验中还涉及到了数据处理的实际场景，例如求平均值。假设有一个包含学生姓名和成绩...
R语言批量读取txt文件并合并
qq_36437037的博客
03-28 1万+
气象数据处理-R语言批量读取txt数据并合并 处理地面气候资料日值数据集v3.0 数据集以月为单位存储，每个月是一个单独的文件，上图、 在处理数据过程中，我们往往会将单独的数据合并到一起做进一步分析，R语言仅需两步，可以轻松实现（替代 打开文本–复制粘贴—吐血） setwd("E:/Rstation/test2") library(tidyverse) library(readxl) library(writexl) #筛选出所有数据文件，以“SURF_CLI_CHN_MUL_DAY-TEM”为搜索关键词
R语言批量读入数据文件到一个数据集
import_torch_as_tf
01-17 1万+
原文地址：http://blog.163.com/ruby_geh/blog/static/260528078201611238410176/ 在流水化办公中，通常有格式统一的表格文件产生，但是到最后要将这一堆表格文件整合为大表却很揪心，累断手，如何用R语言进行一次性导入整合呢？ 假设我们将D:/input文件夹作为需要导入的表格的存放点，文件夹内所有文件均为此次需要导入数据，那么
R合并多个格式相同的文件
shuai19970911的博客
07-21 183
【代码】R合并多个格式相同的文件。
经验总结 | R语言批量读取目录下的文件然后按照行名对其进行整合成为data.frame
weixin_40640700的博客
10-31 3501
参考链接：https://www.jianshu.com/p/3f1f27fdd35b 发现这哥们写得和我目前的需求是一致的，于是按照它的思路看一下。 我的目录文件： path <- "F://张秀秀//过程性文件//10//26//count" fileNames <- dir(path) filePath <- sapply(fileNames, function(x){paste(path,x,sep='/')}) data <- lapply(filePath, f
R语言数据集合并、数据增减、不等长合并
热门推荐
素质云笔记
02-16 19万+
一、数据合并 1、merge()函数 最常用merge()函数，但是这个函数使用时候这两种情况需要注意： 1、merge(a,b)，纯粹地把两个数据集合在一起，没有沟通a、b数据集的by，这样出现的数据很多，相当于a*b条数据； 2、merge函数是匹配到a,b数据集的并，都有的才匹配出来，如果a、b数据集ID不同，这个函数不够用。 #横向合并 ID<-c(1,2,3,4) name<-
将多个月的nc数据文件合并成一个（月平均）
weixin_43259541的博客
02-04 9391
将多个月的nc数据文件合成一个（月平均） 最近在处理nc数据，希望可以获得多年的月平均数据。但是ERA这个产品从网站上下载到的是每个月的日数据，所以我希望可以把他合成一个，以每个月月平均数据存储的nc文件。 首先是引入要用的库： from netCDF4 import Dataset #nc库功能不用说，读nc文件肯定要用 import numpy as np from pandas import Series import netCDF4 as nc import tkinter as tk from
R语言将文件名写入word并批量合并word
hartfo的博客
05-04 814
问题： 有n个word文件，里面放有健康码截图，但使用人的姓名作为word的文件名出现，没有出现的文件内容中 要求： 将文件名作为内容写入相应的文件中，合并所有文件 解决方案 library(officer) setwd("d:/docin") (fl <- list.files(pattern = "doc")) for (i in fl) { dt <- read_docx(i) df <- body_add_par(dt,i,style = "Normal") ds
R语言合并文件夹中的所有文件（dplyr)
onlookerq的博客
03-25 522
merge.data
R语言merge函数连接多个dataframe数据集、使用Reduce函数嵌套merge函数实现多个dataframe数据的内连接、默认merge函数通过公共列名合并数据集
data+scenario+science+insight
07-24 340
R语言merge函数连接多个dataframe数据集、使用Reduce函数嵌套merge函数实现多个dataframe数据的内连接、默认merge函数通过公共列名合并数据集
r语言读取大数据文件
05-24
在R语言中，读取大数据文件可以使用以下方法： 1. 使用readr包的read_csv函数，该函数可以快速读取大型CSV文件。例如： ``` library(readr) data <- read_csv("large_file.csv") ``` 2. 使用data.table包，该包可以处理大型数据集并提供快速读写功能。例如： ``` library(data.table) data <- fread("large_file.csv") ``` 3. 如果数据文件非常大，可以使用ff包。该包允许将文件分成小块进行读取，以避免内存问题。例如： ``` library(ff) data <- read.csv.ffdf(file="large_file.csv", header=TRUE, VERBOSE=TRUE) ``` 以上是读取大数据文件的几种常用方法，具体使用哪种方法取决于你的数据类型和大小。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值