所需工具
1.jdk
2.scala
下载地址:scala官网下载
scala版本下载需注意,后期idea编译可能导致报错,scala版本和spark版本存在一些兼容性问题
spark开发语言支持scala、java和python,推荐scala,因为spark源码就是scala,后期可以为研究源码打基础
3.spark
下载地址:spark官网下载
配置环境变量
vi ~/.bash_profile
追加
export SCALA_HOME=/usr/local/Cellar/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/lv/spark/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
source ~/.bash_profile
验证:
scala -version
spark -version
spark
启动
./sbin/start-master.sh
访问spark本地web:http://localhost:8080
停止
./sbin/stop-master.sh
添加workers
域名端口号为spark的本地web页面上显示
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077
添加完成后刷新web页面,workers下就会有相应的worker
中止该worker只需control+c。