下载自己对应的版本
网址:http://spark.apache.org/downloads.html
解压缩文件
将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中
启动本地环境
- 执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件,启动 Spark 本地环境
- 在 bin 目录中创建 input 目录,并添加word.txt 文件, 在命令行中输入脚本代码
sc.textFile("input/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
··访问web
命令行提交应用
spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10
在 DOS 命令行窗口中执行提交指令