大数据之 - Spark应用程序环境搭建和代码举例

上一篇文章《大数据之 - Spark介绍》讲了Spark的基本知识，几个朋友私信说能不能再举几个例子。今天先简单说说如何搭建Spark的运行环境以及运行一个简单的例子。我把例子放到了Github上，也方便下载。

https://github.com/githubdominic/spark-hello-world.git

Spark提供了多语言的接口，Scala，Java，Python等，本文以Java为例。

 

Java环境搭建

我的运行环境是：

• Macbook Pro macOS Mojave 10.14.3；2.7GHz Intel Core i5, RAM 8GB
• Java 1.8
• Eclipse IDE for Enterprise Java Developers. Version: 2018-12 (4.10.0)

第一步：在Eclipse中创建Maven工程

图1 创建Maven工程

第二步：填写项目的信息

图2 基本信息

图3 选择Archetype

图4 填写Group id和Artifact id

第三步：点击项目运行，可以打印出'Hello World'表示Java环境已经搭建好

图5 可以正常运行Hello World

Spark下载配置

在Spark官网下载Spark：https://spark.apache.org/downloads.html

图6 Spark下载页面

将下载的Spark放到本地目录，在Eclipose Project->Properties->Java Build Path->Libraries->Add External JARs将⁨Spark目录下的jars目录下的jar包都添加进项目。例如我电脑里jar文件放在目录spark-2.4.0-bin-hadoop2.7⁩/jars/*

图7 设置项目属性

图8 添加Spark jar包引用

使用Spark计算Pi

下面编辑App.java，使用蒙特卡罗(Monte Carlo)算法计算Pi的近似值。这种方法是一种利用计算机随机数的功能基于“随机数”的算法，通过计算落在单位圆内的点与落在正方形内的点的比值求Pi。

package spark.spark_hello_world;
/**
 * Hello Spark!
 *
 */
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import java.util.ArrayList;
import java.util.List;
/**
 * Computes an approximation to pi
 * Usage: JavaSparkPi [partitions]
 */
public final class App {
 public static void main(String[] args) throws Exception {
 SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi").setMaster("local");
 
 JavaSparkContext jsc = new JavaSparkContext(sparkConf);
 int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2;
 int n = 100000 * slices;
 List<Integer> l = new ArrayList<>(n);
 for (int i = 0; i < n; i++) {
 l.add(i);
 }
 JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);
 int count = dataSet.map(integer -> {
 double x = Math.random() * 2 - 1;
 double y = Math.random() * 2 - 1;
 return (x * x + y * y <= 1) ? 1 : 0;
 }).reduce((integer, integer2) -> integer + integer2);
 System.out.println("Pi is roughly " + 4.0 * count / n);
 jsc.stop();
 }
}

简单起见，通过setMaster("local")在本地使用一个worker线程运行程序。

点击运行可以看到输出结果里面：

图9 Pi计算结果

更多蒙特卡罗算法(Monte Carlo)如何计算Pi的介绍可以参考下面的链接：

[1] 'Estimating the value of Pi using Monte Carlo'. https://www.geeksforgeeks.org/estimating-value-pi-using-monte-carlo/

[2] 'A Monte Carlo Approach to Estimating Pi'. http://www.mikesovay.com/msc/3%20-%20Kent%20Collins%20Material/Monte%20Carlo%20Simulation%20of%20Pi/MonteCarloApproachToPi_StudentInstructions.pdf