Windows下的第一个Spark程序
准备---------------------------------------------------------------------------------------------
硬件:Lenov thinkpad 440p
OS: windows 7
其他:Spark 1.20, Scala IDE 4.0.0, Scala 2.11.5
1. 下载 Scala IDE (http://scala-ide.org/download/sdk.html), 解压缩直接启动。
2. 下载 Scala (http://www.scala-lang.org/download/),运行安装。
3. 下载 Spark for hadoop 2.4 later,解压缩备用。
4. 下载 winutils.exe , 备用。
开始--------------------------------------------------------------------------------------------
1. 启动Scala IDE
2. 新建Scala Project
3. 新建HelloWorld, 新建Scala Class
import org.apache.spark._
import SparkContext._
object HelloWorld {
def main(args: Array[String]) {
if (args.length != 3) {
println("usage is org.test.WordCount <master> <input> <output>")
return
}
System.setProperty("hadoop.home.dir", "c:\\work\\hadoop")
val sc = new SparkContext(args(0), "WordCount",
System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_TEST_JAR")))
val textFile = sc.textFile(args(1))
val result = textFile.flatMap(line => line.split("\\s+"))
.map(word => (word, 1)).reduceByKey(_ + _)
result.saveAsTextFile(args(2))
}
}