Demo程序
创建scala项目
注意JDK与Scala SDK的选择
从spark官网下载spark-2.2.1-bin-hadoop2.7.tgz,链接
解压之后,在Libraries中添加
Spark的例子 Pi Estimation
完整版本代码如下
import org.apache.spark.{SparkConf, SparkContext}
object SparkPi {
def main(args:Array[String]){
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val sc = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = 100000 * slices
val count = sc.parallelize(1 to n).filter{ _ =>
val x = math.random * 2 - 1
val y = math.random * 2 - 1
x * x + y * y < 1
}.count()
println("Pi is roughly " + 4.0 * count / n)
sc.stop()
}
}
然后,运行程序,可能出现的问题及方法总结如下:
问题
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决方法参考1
解决方法参考博客2
解决方法参考博客3
问题解决方法
先从Hadoop官网下载hadoop-2.7.5.tar.gz,链接
解压后,从参考3中Prasad D回答的
Download it from here and add to $HADOOP_HOME/bin
点击下载得到hadoop-common-2.2.0-bin-master.zip
解压后,将所有文件复制到Hadoop-2.7.5/bin文件夹下
再根据参考2中的说法,将hadoop.dll复制到system32中,
修改hadoop-2.7.5\etc\hadoop中的xml文件
然后,根据参考1,修改计算机环境变量,添加
之后可能需要重启电脑或者IDEA软件