用R语言批量处理文件文件夹和文件

有时候，我们需要从一系列文件夹里提取一系列文件，比如pdf文件。再者，我们可能还需要对这些文件做一些处理，比如合并。那么就可以利用R语言来处理。一般来说，perl语言更适用于文件或文本的处理。不过，因perl语言很久没用，生疏了。

R语言自带的一系列函数处理如下：

file.remove(...) # 用于文件删除
file.rename(from, to) # 重命名
file.append(file1, file2) #合并文件
file.copy(from, to, overwrite = recursive, recursive = FALSE,
          copy.mode = TRUE, copy.date = FALSE) # 文件复制
list.files() # 罗列文件夹或工作目录里的所有文件名
dir() # 罗列文件名，同上
dir.create() # 创建文件夹
unlink(x, recursive = FALSE, force = FALSE) # 删除文件夹 
         

1 批量重命名文件夹

文件夹new1里有一系列子文件夹，通过下述代码可以对它们重命名：

myfolderpath <- "D:/myworks/new1"
setwd(myfolderpath)
allfoldN <- dir(myfolderpath)
foldnewN <- paste0('nF',1:length(allfoldN))
file.rename(allfoldN,foldnewN)

通过上述代码，子文件夹会以‘nF1’，‘nF2’，…的方式重命名。

2 批量合并子文件夹里的所有文件

通过下述代码可以把子文件夹里的所有文件合并到每个子文件夹的第一个文件：

myfolderpath <- "D:/myworks/new1"
setwd(myfolderpath)
allfoldN <- dir(myfolderpath)
for(i in 1:length(allfoldN)){
  myfilepath <- paste(myfolderpath,allfoldN[i],sep='/')
  setwd(myfilepath)
  alltypefiles <- dir(myfilepath)
    for(j in 2:length(alltypefiles)){
    file.append(alltypefiles[1],alltypefiles[j])
  }
}
  

如果想删除某些特定文件，可以使用下述代码：

file.remove(dir(".", pattern="(.m3u8)$"))

如果想删除所有子文件夹，可以使用下述代码：

setwd(myfolderpath)
for(i in 1:length(allfoldN)) unlink(allfoldN[i],recursive =T, force=TRUE)

3 采用并行方式进行批量操作

如果子文件夹数量比较多时，可以使用并行命令来节省时间，将上述合并的for循环改为函数ref，然后来运行并行命令：

ref<-function(allfoldN){
  myfilepath <- paste(myfolderpath,allfoldN,sep='/')
  setwd(myfilepath)
  alltypefiles <- dir(myfilepath)
    for(j in 2:length(alltypefiles)){
    file.append(alltypefiles[1],alltypefiles[j])
  }
}  

并行命令的代码如下：

myfolderpath <- "D:/myworks/new1"
setwd(myfolderpath)
allfoldN <- dir(myfolderpath)

library(doParallel)
cl <- makePSOCKcluster(detectCores()-1)
registerDoParallel(cl)
foreach(allfoldN=allfoldN) %dopar% ref(allfoldN)
stopCluster(cl)

4 结语

再次证实，学会一定的编程能力，可以达到事半功倍。