R语言如何并行处理[parallel package][向量化操作并行优化]

使用数据，长下面这样：

方法：使用parallel包，并行向量化处理，进一步提升原先向量化处理速度。

• 原始代码：

start <- Sys.time()
experiment_step1 <- apply(dtc_small_modify, 1, decompose)
end <- Sys.time()
print(end-start)

原始运行时间：3.083114 分

• 使用parallel包后

library(parallel) #并行处理包
cl.cores <- detectCores(logical = F) #计算电脑核心数
cl <- makeCluster(cl.cores) # 初始化要使用的核心数
start <- Sys.time()
results <- parApply(cl=cl, dtc_small_modify, 1, decompose) # apply的并行版本
stopCluster(cl) # 关闭并行模式
end <- Sys.time()
print(end-start)

并行后，运行时间：55.5877 秒，相较原先，速度提升了将近四倍！

Tips：上述是对向量化（Vectorization）apply类的并行处理。对于apply的并行处理，必须使用par开头的对应apply.列表如下：

parLapply(cl = NULL, X, fun, …, chunk.size = NULL)
parSapply(cl = NULL, X, FUN, …, simplify = TRUE, USE.NAMES = TRUE, chunk.size = NULL)
parApply(cl = NULL, X, MARGIN, FUN, …, chunk.size = NULL)
parRapply(cl = NULL, x, FUN, …, chunk.size = NULL)
parCapply(cl = NULL, x, FUN, …, chunk.size = NULL)
parLapplyLB(cl = NULL, X, fun, …, chunk.size = NULL)
parSapplyLB(cl = NULL, X, FUN, …, simplify = TRUE, USE.NAMES = TRUE, chunk.size = NULL)

使用apply类向量化操作后，常常产生大规模列表，可能需要将列表转成一个完整的大数据框。

res.df <- do.call(rbind,results) # 按行整合结果
df <- as.data.frame(res.df) #转成数据框

Tips：上面的do.call函数简单说明

END

---