一、spark所在目录
cd usr/local/spark
二、启动spark
/usr/local/spark/sbin/start-all.sh
启动Hadoop以及Spark:
bash ./starths.sh
浏览器查看:
172.16.31.17:8080
停止Hadoop以及Spark
bash ./stophs.sh
三、基础使用
参考链接:https://www.cnblogs.com/dasn/articles/5644919.html
1.运行Spark示例(SparkPi)
在 ./examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。
我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令:
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中)
Python 版本的 SparkPi 则需要通过 spark-submit 运行:
./bin/spark-submit examples/src/main/python/pi.py
2.通过Spark-shell进行交互分析
Spark Shell 支持 Scala 和 Pytho