上一篇文章《大数据之 - Spark介绍》讲了Spark的基本知识,几个朋友私信说能不能再举几个例子。今天先简单说说如何搭建Spark的运行环境以及运行一个简单的例子。我把例子放到了Github上,也方便下载。
https://github.com/githubdominic/spark-hello-world.git
Spark提供了多语言的接口,Scala,Java,Python等,本文以Java为例。
Java环境搭建
我的运行环境是:
- Macbook Pro macOS Mojave 10.14.3;2.7GHz Intel Core i5, RAM 8GB
- Java 1.8
- Eclipse IDE for Enterprise Java Developers. Version: 2018-12 (4.10.0)
第一步:在Eclipse中创建Maven工程
图1 创建Maven工程
第二步:填写项目的信息
图2 基本信息
图3 选择Archetype
图4 填写Group id和Artifact id
第三步:点击项目运行,可以打印出'Hello World'表示Java环境已经搭建好
图5 可以正常运行Hello World
Spark下载配置
在Spark官网下载Spark:https://spark.apache.org/downloads.html
图6 Spark下载页面
将下载的Spark放到本地目录,在Eclipose Project->Properties->Java Build Path->Libraries->Add External JARs将Spark目录下的jars目录下的jar包都添加进项目。例如我电脑里jar文件放在目录spark-2.4.0-bin-hadoop2.7/jars/*
图7 设置项目属性
图8 添加Spark jar包引用
使用Spark计算Pi
下面编辑App.java,使用蒙特卡罗(Monte Carlo)算法计算Pi的近似值。这种方法是一种利用计算机随机数的功能基于“随机数”的算法,通过计算落在单位圆内的点与落在正方形内的点的比值求Pi。
package spark.spark_hello_world; /** * Hello Spark! * */ import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.SparkSession; import java.util.ArrayList; import java.util.List; /** * Computes an approximation to pi * Usage: JavaSparkPi [partitions] */ public final class App { public static void main(String[] args) throws Exception { SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi").setMaster("local"); JavaSparkContext jsc = new JavaSparkContext(sparkConf); int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2; int n = 100000 * slices; List<Integer> l = new ArrayList<>(n); for (int i = 0; i < n; i++) { l.add(i); } JavaRDD<Integer> dataSet = jsc.parallelize(l, slices); int count = dataSet.map(integer -> { double x = Math.random() * 2 - 1; double y = Math.random() * 2 - 1; return (x * x + y * y <= 1) ? 1 : 0; }).reduce((integer, integer2) -> integer + integer2); System.out.println("Pi is roughly " + 4.0 * count / n); jsc.stop(); } }
简单起见,通过setMaster("local")在本地使用一个worker线程运行程序。
点击运行可以看到输出结果里面:
图9 Pi计算结果
更多蒙特卡罗算法(Monte Carlo)如何计算Pi的介绍可以参考下面的链接:
[1] 'Estimating the value of Pi using Monte Carlo'. https://www.geeksforgeeks.org/estimating-value-pi-using-monte-carlo/
[2] 'A Monte Carlo Approach to Estimating Pi'. http://www.mikesovay.com/msc/3%20-%20Kent%20Collins%20Material/Monte%20Carlo%20Simulation%20of%20Pi/MonteCarloApproachToPi_StudentInstructions.pdf