sparkpi 源码实现

public final class JavaSparkPi {

 public static void main(String[] args) throws Exception {

//参数个数检查  如果输入一个则转换成int 否则切割二次
 int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2;

//n 10 0000*slices   arraylist  n 
 int n = 100000 * slices;
 List<Integer> l = new ArrayList<Integer>(n);
 for (int i = 0; i < n; i++) {
 l.add(i);
 }

//配置
 SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");
 JavaSparkContext jsc = new JavaSparkContext(sparkConf);
 JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);
 int count = dataSet.map(new Function<Integer, Integer>() {
    @Override
     public Integer call(Integer integer) {
         double x = Math.random() * 2 - 1;
         double y = Math.random() * 2 - 1;
         return (x * x + y * y < 1) ? 1 : 0;
 }
 }).reduce(new Function2<Integer, Integer, Integer>() {

     @Override
     public Integer call(Integer integer, Integer integer2) {
         return integer + integer2;
     }
 });
 System.out.println("Pi is roughly " + 4.0 * count / n);
 jsc.stop();
 }
}

默认投20万次，然后他要造成在一个边长为2的正方形里等概率投针的模拟。这里random()产生0~1之间的数，“*2”就是0~2之间等概率的数，再“-1”x与y就变成-1到1之间等概率的数，（x,y）就是在边长为2的正方形里均匀分布的点，正方形的内切圆面积就是PI，距原点小于1的就在园内,由“PI/4 = 园内点数/总点数”可以估计PI

SparkPi 默认采用两个平行的计算 来计算20万个点投到园内的个数 count

    Pi   =     园内点数/总点数     *  正方形面积