windows下安装spark环境

本机安装JDK1.8.0，spark2.0.1，scala2.12.1

安装JDK

略

安装scala

见上篇
注意：Spark的各个版本需要跟相应的Scala版本对应.

安装Spark

http://spark.apache.org/downloads.html

• 选择对应Hadoop版本的Spark，选择编译好的Pre-built版本，下载完成后将文件进行解压即可。在Spark的文件目录路径名中，不要出现空格。
• 将Spark的bin目录添加到系统变量PATH中。
• cmd命令行中，直接执行spark-shell命令，即可开启Spark的交互式命令行模式。

运行spark-shell 显示scala版本为2.11.8，spark可能自带了scala，或许可以不单独安装scala，未测试。

附：
wordCount

scala> var lines=sc.textFile("C:/Users/Administrator/Desktop/1.txt")
scala> lines.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).foreach(println)