spark 2.2.0 共享变量使用方法 java版

package cn.spark.study.core;


import java.util.*;


import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function;

import org.apache.spark.api.java.function.VoidFunction;

import org.apache.spark.broadcast.Broadcast;


public class BroadcastVairable {

public static void main(String[] args) {

SparkConf conf =new SparkConf().setAppName("persist").setMaster("local");

JavaSparkContext sc =new JavaSparkContext(conf);

final int factor = 3;

final Broadcast<Integer> fac =sc.broadcast(factor);

List<Integer> numberlist =Arrays.asList(1,2,3,4,5);

JavaRDD<Integer> num =sc.parallelize(numberlist);

JavaRDD<Integer> mulnum.map(new Function<Integer, Integer>() {


@Override

public Integer call(Integer arg0) throws Exception {

int fact = fac.value();

return arg0 *fact;

}

});

mul.foreach(new VoidFunction<Integer>() {

@Override

public void call(Integer arg0) throws Exception {

System.out.println(arg0);

}

});

sc.close();

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值