spark累加器介绍-案例通过累加器统计文章中空白行数量

本文介绍了Spark累加器Accumulator的概念,详细阐述了创建累加器的步骤,并提供了一个实际案例——通过累加器统计README.md文件中的空白行数量,包括代码实现和结果展示。
摘要由CSDN通过智能技术生成

1.累加器介绍

累加器(Accumulator)是一种只能通过关联操作进行“加”操作的变量,因此具有高效的并行计算能力。

2.简单累加器创建步骤

1.首先,通过accumulator(v)方法创建Accumulator并初始化为0

val accum = sc.accumulator(0)
2.然后,通过运算符+= 进行累加操作

x => accum+=x

3.通过value方法读取累加器的值

accum.value

3.完整代码及结果

val accum = sc.accumulator(0)

sc.parallelize(Array(1,2,3,4)).foreach(x => accum+=x)

   println(accum.value) // 10

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值