spark模式

spark运行模式 local，standalone，yarn，mesos，k8s。
 
local模式设置master
    local：所有计算都在一个线程，没有并行计算。
    local【k】：指定用几个线程计算。
    local[*]：以cpu最多core设置线程数量。
local模式简单，解压jar包，直接复制demo即可。

参数解释：
-–executor-memory 10G   每个worker/executor都会分配10G 
--master local【3】            默认值local
--total-executor-cores        ？？

local模式demo
蒙特卡罗法求PI：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

 

WordCount：
mkdir input
vi a.txt 按i 
hello spark
hello thutmose
vi b.txt
hell everyone

./bin/spark-shell
另起一个控制台 jps 出现sparksubmit 启动成功
sc.textFile("./input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

可通过ip:4040 查看程序运行。