foreach包简介

最新推荐文章于 2023-09-12 18:17:38 发布
最新推荐文章于 2023-09-12 18:17:38 发布
阅读量1.8k 收藏 3
点赞数 1
分类专栏： R语言
本文深入探讨了R语言中foreach包提供的并行计算功能，包括循环结构、数据集处理、迭代器和并行应用apply函数的实现。通过实例展示了如何使用foreach进行并行随机森林和apply函数的并行计算。
摘要由CSDN通过智能技术生成

原文地址：http://blog.163.com/yugao1986@126/blog/static/6922850820145303931857/

FROM:《Using The foreach Package》

foreach包提供了一种新的循环运行R脚本的循环结构，它支持并行运算。

#1 简介

require(foreach)

## Loading required package: foreach

#利用foreach重复运行sqrt函数
foreach(i=1:3) %do% sqrt(i)

## [[1]]
## [1] 1
## 
## [[2]]
## [1] 1.414
## 
## [[3]]
## [1] 1.732

foreach返回的是list格式值，list格式是默认的数据格式。

上例中，我们将循环值赋予i,进而将i作为函数sqrt的参数。类似，我们可以指定多个循环：

foreach(a=1:3, b=rep(10, 3)) %do% {
  a + b
}

## [[1]]
## [1] 11
## 
## [[2]]
## [1] 12
## 
## [[3]]
## [1] 13

上面a和b被赋予同样数量的值，如果只赋予两个值给b，而给a赋1000个值，我们得到的值同样只有2个：

foreach(a=1:1000, b=rep(10, 2)) %do% (a + b)

## [[1]]
## [1] 11
## 
## [[2]]
## [1] 12

#2 “.combine”选项

foreach返回的数据格式是list格式，有时我们需要向量格式的数据，此时可以使用.combine选项：

foreach(i=1:3, .combine="c") %do% exp(i)

## [1]  2.718  7.389 20.086

这里.combine选项连接了“c”函数，该函数的功能是连接所有返回值组成向量。此外，我们可以使用“cbind”将生成的多个向量组合成矩阵,例如生成四组随机数向量，进而按列合并成矩阵：

foreach(i=1:4, .combine="cbind") %do% rnorm(4)

##      result.1 result.2 result.3 result.4
## [1,]  0.26634 -0.73193 -0.25927   0.8632
## [2,]  0.54132  0.08586  1.46398  -0.6995
## [3,] -0.15619  0.85427 -0.47997   0.2160
## [4,]  0.02697 -1.40507 -0.06972   0.2252

我们还可以使用“+”或“*”等运算符作为.combine选项的值：

foreach(i=1:4, .combine="+") %do% rnorm(4)

## [1]  1.203  1.354  1.793 -2.245

也可以使用自定义函数：

cfun <- function(a, b) NULL
foreach(i=1:4, .combine="cfun") %do% rnorm(4)

## NULL

如果自定义函数涉及多个参数，我们需要使用.multicombine

cfun <- function(...) NULL
foreach(i=1:4, .combine="cfun", .multicombine=TRUE) %do% rnorm(4)

## NULL

.maxcombine可以设置最大参数个数的上线

cfun <- function(...) NULL
foreach(i=1:4, .combine='cfun', .multicombine=TRUE, .maxcombine=10) %do% rnorm(4)

## NULL

在进行并行计算时候，.inorder选项将非常重要。该参数是逻辑型的，默认为TRUE,某些情况下可以改为FALSE。

foreach(i=4:1, .combine="c") %dopar% {
  Sys.sleep(3*i)
  i
}

## Warning: executing %dopar% sequentially: no parallel backend registered

## [1] 4 3 2 1

foreach(i=4:1, .combine='c', .inorder=FALSE) %dopar% {
  Sys.sleep(3 * i)
  i
}

## [1] 4 3 2 1

#3 迭代器

迭代循环值不是必须设定位向量或者list格式，我们可以结合"iterators"包使用迭代器设置其格式。iterators包中的irnorm函数在每次调用时都可以返回指定数量的随机数：

require(iterators)

## Loading required package: iterators

foreach(a=irnorm(4,count=4), .combine='cbind') %do% a

##      result.1 result.2 result.3 result.4
## [1,]  -0.8766  -1.5256   1.1133   0.2166
## [2,]   0.1950   0.7027   0.4458   0.2943
## [3,]  -1.0098  -0.5317  -0.6918  -0.3026
## [4,]   1.0034  -0.1961  -0.6325   0.9973

在处理大数据时候，该方法相当有用，因为iterators按照我们的命令动态生成随机数，而不是在一开始就生成随机数再进行运算操作。例如，计算数千个随机数向量的汇总：

set.seed(123)
system.time(foreach(a=irnorm(4, count=1000), .combine='+') %do% a)

##    user  system elapsed 
##    1.33    0.00    1.34

#使用icount函数生成1000个随机数
set.seed(123)
system.time(foreach(icount(1000), .combine='+') %do% rnorm(4))

##    user  system elapsed 
##    1.08    0.00    1.08

#4 并行计算

foreach包创作是为了解决一些并行计算问题，将"%do%“更改为“%dopar%”前面例子就可以实现并行计算。并行计算一些小任务会比按顺序运算它们花费更多的时间，所以当普通运算足够快的时候，并没有必要使用并行计算模式改进其运算效率。

##4.1并行随机森林

下面使用随机森林来演示并行计算

#生成矩阵x作为输入值，y作为目标因子
x <- matrix(runif(500), 100)
y <- gl(2, 50)
#导入randomForest包
require(randomForest)

## Loading required package: randomForest
## randomForest 4.6-7
## Type rfNews() to see new features/changes/bug fixes.

如果我们要创建一个包含1200棵树的随机森林模型，在6核CPU电脑上，我们可以将其分割为六块执行randomForest函数六次，同时将ntree参赛设为200,最后再将结果合并。

a.按顺序执行代码

rf <- foreach(ntree=rep(200, 6), .combine=combine) %do%
  randomForest(x, y, ntree=ntree)
rf

## 
## Call:
##  randomForest(x = x, y = y, ntree = ntree) 
##                Type of random forest: classification
##                      Number of trees: 1200
## No. of variables tried at each split: 2

b.并行计算

将%do%改为“%dopar%”,同时使用.packages调用randomForest：

rf <- foreach(ntree=rep(200,6), .combine=combine, .packages="randomForest") %dopar% 
  randomForest(x, y, ntree=ntree)
rf

## 
## Call:
##  randomForest(x = x, y = y, ntree = ntree) 
##                Type of random forest: classification
##                      Number of trees: 1200
## No. of variables tried at each split: 2

##4.2并行应用apply函数

apply函数式R软件中的基本函数，下面我们看看如何实现apply的并行计算。

applyKernel <- function(newX, FUN, d2, d.call, dn.call=NULL, ...) {
  ans <- vector("list", d2)
  for(i in 1:d2) {
    tmp <- FUN(array(newX[,i], d.call, dn.call), ...)
    if(!is.null(tmp)) ans[[i]] <- tmp
    }
  ans
}
applyKernel(matrix(1:16, 4), mean, 4, 4)

## [[1]]
## [1] 2.5
## 
## [[2]]
## [1] 6.5
## 
## [[3]]
## [1] 10.5
## 
## [[4]]
## [1] 14.5

使用foreach包运行上述函数

applyKernel <- function(newX, FUN, d2, d.call, dn.call=NULL, ...){
  foreach(i=1:d2) %dopar%
     FUN(array(newX[, i], d.call, dn.call), ...)
}
applyKernel(matrix(1:16, 4), mean, 4, 4)

## [[1]]
## [1] 2.5
## 
## [[2]]
## [1] 6.5
## 
## [[3]]
## [1] 10.5
## 
## [[4]]
## [1] 14.5

该方法将导致newX数组被发送至每一个并行运算器中，有时每一个并行运算只需要newX的一列数据，此时我们就需要避免这种情况。利用iterators包迭代器遍历矩阵的列，这种方法可以解决该问题。

applyKernel <- function(newX, FUN, d2, d.call, dn.call=NULL, ...) {
  foreach(x=iter(newX, by='col')) %dopar%
    FUN(array(x, d.call, dn.call), ...)
}
applyKernel(matrix(1:16, 4), mean, 4, 4)

## [[1]]
## [1] 2.5
## 
## [[2]]
## [1] 6.5
## 
## [[3]]
## [1] 10.5
## 
## [[4]]
## [1] 14.5

上述代码只是将矩阵中的指导列赋予并行计算器，将newX矩阵放在更大的矩阵块中会更有效率。iblkcol函数可以返回一个迭代器，该迭代器返回多个列的原始矩阵。该种方法意味着对原始矩阵中的子矩阵的列运算自定义的函数：

iblkcol <- function(a, chunks) {
  n <- ncol(a)
  i <- 1

  nextEl <- function() {
    if (chunks <= 0 || n <= 0) stop('StopIteration')
    m <- ceiling(n / chunks)
    r <- seq(i, length=m)
    i <<- i + m
    n <<- n - m
    chunks <<- chunks - 1
    a[,r, drop=FALSE]
    }

  obj <- list(nextElem=nextEl)
  class(obj) <- c('abstractiter', 'iter')
  obj
  }


applyKernel <- function(newX, FUN, d2, d.call, dn.call=NULL, ...) {
  foreach(x=iblkcol(newX, 3), .combine='c', .packages='foreach') %dopar% {
    foreach(i=1:ncol(x)) %do% 
      FUN(array(x[,i], d.call, dn.call), ...)
    }
  }
applyKernel(matrix(1:16, 4), mean, 4, 4)

## [[1]]
## [1] 2.5
## 
## [[2]]
## [1] 6.5
## 
## [[3]]
## [1] 10.5
## 
## [[4]]
## [1] 14.5

#5 列表解析

foreach提供了when函数实现条件运算

foreach(a=irnorm(1, count=10), .combine='c') %:% when(a >= 0) %do% sqrt(a)

## [1] 1.079 1.185 1.465 1.396

下面是foreach结合when函数完成的简单快速排序函数示例：

qsort <- function(x) {
  n <- length(x)
  if (n == 0) {
    x
    } else {
      p <- sample(n, 1)
      smaller <- foreach(y=x[-p], .combine=c) %:% when(y <= x[p]) %do% y
      larger <- foreach(y=x[-p], .combine=c) %:% when(y > x[p]) %do% y
      c(qsort(smaller), x[p], qsort(larger))
      }
}

qsort(runif(12))

##  [1] 0.1481 0.2000 0.2769 0.4729 0.4747 0.5730 0.6394 0.6524 0.8315 0.8325
## [11] 0.8413 0.8724

#6 总结

大多数并行计算都主要完成三件事情：将问题分割小块、对小块问题进行并行计算、合并计算结果。foreach包中，迭代器完成分割工作，”%dopar%“函数实现对小块的并行计算，”.combine"函数完成合并工作。


jiabiao1602
关注
专栏目录
以太坊源码分析(17)Internal包简介
尹成的技术博客
05-13 1573
## Internal包简介Internal包主要是封装了js的命令行界面，并且包含了命令行所调用的api信息。## ethapi/api包分析ethapi/api包主要是进入js的命令行界面后，输入的命令实现部分。&lt;br&gt;js的命令实现在ethapi/api和node/api中。目前一共有三种api的命令。&lt;br&gt;(1)第一种是admin相关的命令，这个是通过安全的RPC...
JAVA重点类 集合List Map 迭代器 foreach
chengqingshihuishui的博客
11-04 634
一、集合概述 一方面,而向对象语言对事物的体现都是以对象的形式,为了方便对多个对象的操作,就要对对象进行存储。另一方面,使用Array（数组）存储对象方面具有一些弊端,而Java集合就像一种容器,可以动态地把多个对象的引用放入容器中。 说明：此时的存储，都是指的内存层面的存储，不涉及持久化（硬盘）的存储（.txt, .jpg, . avi , 数据库等媒介） 1、数组在内存存储方面的特点: （1）数组初始化以后,长度就确定了。（不可对长度进行修改） （2）数组声明的类型,就决定了进行元素初..
c标签-if-foreach-jar
07-20
前端el表达式应用。判断、循环
[R] foreach package
艳艳博客
01-22 1434
foreach package Examples1. foreach packageThe foreach package provides a new looping construct for executing R code repeatedly. The main reason for using the foreach package is that it supports paralle
R︱foreach+doParallel并行+联用迭代器优化内存+并行机器学习算法
素质云笔记
11-26 1万+
接着之前写的并行算法parallel包，parallel相比foreach来说，相当于是foreach的进阶版，好多东西封装了。而foreach包更为基础，而且可自定义的内容很多，而且实用性比较强，可以简单的用，也可以用得很复杂。笔者将自己的学习笔记记录一下。R︱并行计算以及提高运算效率的方式(parallel包、clusterExport函数、SupR包简介)——————————————————
foreach包并行计算
左手coding，右手cooking
05-04 962
foreach包提供了一种新的循环运行的循环结构，他支持并行运算。library(foreach) #利用foreach重复运行sqrt函数 foreach(i=1:3)%do%sqrt(i) #foreach返回的是list格式值，是默认的 # ".combine"选项 ##foreach返回的数据格式是list，有时候我们需要向量格式的数据，此时可以用(.combine)选项 foreach(
用R语言foreach包对某个函数进行并行的实例
weixin_41492161的博客
03-23 608
library("httr") library("jsonlite") library("magrittr") GETPDF <- function(i){ url<-"https://index.toutiao.com/api/report" headers<-c( "Host"="index.toutiao.com", "User-Agent"="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebK
javascript中FOREACH数组方法使用示例.docx
01-13
#### 一、`Array.prototype.forEach()`简介 `Array.prototype.forEach()`方法用于遍历数组中的每个元素，并对每个元素执行指定的回调函数。该方法不会返回任何值，即其返回值总是`undefined`。`forEach()`方法接受...
mybatis 中foreach
08-16
- *1* *2* [Mybatis中的foreach语句简介](https://blog.csdn.net/imVainiycos/article/details/99304321)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
R语言doParallel+foreach 并行计算初试牛刀
u011178441的博客
06-02 8707
前言  因为我学习的需要，要做模拟，需要用到前人写好的函数，然后又需要大量的循环（模拟一百次，每次生成500条曲线，450条训练，50条做预测）。每次做个运算要半个小时左右，实在是受不了了之后，找了很多的博客和也下载了cran的帮助文档来看。最后终于一遍遍的试出来了。 包的安装  首先需要将doParallel的包安装带上去，而doParallel的包基于foreach,iterators和par...
R语言并行计算提高速度丨parallel包和foreach包
最新发布
青笋的博客
09-12 5665
处理循环中出现错误时的应对方法，默认为stop，即出现错误就停止，但是这样会导致已经计算的内容全部失效，还得重新算。另外还有两种方式，remove选项可以在遇到错误时自动移除错误项，pass可以在出现错误时跳过该项，后者的区别是会记录出现错误的位置。今天与大家分享的是R语言中的并行计算的内容，将探讨如何使用parallel和foreach包在R中进行并行计算，以及在不同情况下提高计算效率的方法。在R中尽量避免使用for循环，在R中使用for循环速度很慢，在写代码的时候，应该尽可能的避免使用for循环。
简单标签实现foreach代码和jar打包的两种方法
yaasshole
11-10 220
简单标签实现foreach代码和jar打包 一 整体思路介绍 1．使用foreach的方法在四种情况下都使用，分别为Map（映射）、Colleation（集合）、对象数组、基本类型的数组 2．用到了迭代器，因为在写标签处理器的时候，迭代器的通用性最高 二 代码和注释 1．创建标签处理器 ForEachTag.java public class ForEachTag extends ...
R手册(Parallel Computing)--foreach
WilenWu
05-04 291
R手册(Parallel Computing)–foreach foreach foreach 后端支持 library(doParallel) #为foreah包提供一个并行的后端 n_cores&lt;-detectCores(logical=FALSE) #获得物理内核数 registerDoParallel(cores=n_cores-1) #注册集群 ...
foreach用法_R语言--并行计算包（parallel、foreach）
weixin_39618275的博客
11-30 1067
R语言是单核计算语言，在数据建模或计算过程中，常常出现相同或相似任务的重复计算，一般操作是for循环处理或采用apply族函数处理，为了更快完成计算，采用并行计算是更优的选择。本文采用R语言中的parallel包与foreach包实现并行计算，并针对单变量并行和多变量并行计算这两个常用场景做了函数封装。0.环境&软件win10 64bitR 3.6.11.安装包install2.单变量并行...
R语言多任务处理与并行运算包——foreach
R语言中文社区
04-23 2800
作者简介Introduction杜雨，EasyCharts团队成员，R语言中文社区专栏作者，兴趣方向为：Excel商务图表，R语言数据可视化，地理信息数据可视化。个人公众...
#R语言# 并行计算-foreach
JokerDiane的博客
05-06 2905
最近经常要用R跑程序，每次都要跑好久- -。不加并行，CPU利用率实在低。在此记录下相关的语句。 先导入相关包 library(foreach) library(doParallel) library(parallel) no_cores <- detectCores(no_cores) - 1 # 检测核数，并设置使用的数量 cl = makeCluster(no_cores); ...
R语言 foreach并行执行求两两基因之间的功能相似度
watermel__的博客
05-07 856
file里面是基因以及对应的功能，要计算两两基因间的功能相似度，普通for循环太慢了，故用foreach并行操作： library(GOSemSim) library(data.table) library(org.Mm.eg.db) library(foreach) library(doParallel) getDoParWorkers( ) #查看注册了多少个核，配合doMC package中的registerDoMC( )使用 getDoParRegistered( ) # 查看doPar是否
【学习】R语言中的并行计算：foreach,iterators, doParallel包
热门推荐
wa2003的博客
09-06 1万+
我个人的理解，这些包进行并行计算，有点类似控制编译器的并行开关，将数据、循环变量直接的依赖性进行开关设置。 一、foreach包 foreach包是revolutionanalytics公司贡献给R开源社区的一个包，它能使R中的并行计算更为方便。 与sapply函数类似，foreach函数中的第一个参数是输入参数，%do%后面的对象表示运算函数，而.combine则表示运算结果的整合
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值