Spark local/standalone/yarn/远程调试-运行WordCount

local

直接启动spark-shell

./spark-shell --master local[*]

编写scala代码

sc.textFile("/input/file01.txt")
res0.cache()
res0.count
val wd=res0.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)
wd.collect.foreach(println)

在输出日志中查看WordCount结果

在spark监控页面查看看，绿色的圆圈代表缓存在内存中

standalone

在spark-env.sh中添加

export SPARK_MASTER_IP  master
export SPARK_MASTER_PORT 7077
export SPARK_WORKER_CORES=2
export SPARK_WORK_INSTANCES=1