spark入门 Linux模式 Local模式 (二)

一、下载对应的spark包

https://archive.apache.org/dist/spark/spark-3.0.0/
我这里下载的是spark-3.0.0-bin-hadoop3.2.tgz

二、解压

tar -zvxf spark-3.0.0-bin-hadoop3.2.tgz

三、启动

再解压路径的bin目录执行下

 ./spark-shell 

四、测试

WordCount代码例子

 sc.textFile("/root/cls.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect;

访问可看到下面例子就成功了
http://hadoop100:4040/jobs/

五、提交应用

在解压bin路径下执行

 ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2]  ../examples/jars/spark-exa.12-3.0.0.jar 

参数解析
./spark-submit --class 表示要执行程序的主类 --master local[cpu核数] jar包路径