此系统是ubuntu!前提你已经安装scala和jdk,spark的运行依赖于scala2.10.4,具体下载安装等等,在我的博客都已说明。
1.下载spark-1.0.0-bin-hadoop2.tar.gz,下载链接为:http://pan.baidu.com/s/1c0PxMpi
2.解压到你的某个文件夹里tar -xzvf spark-1.0.0-bin-hadoop2.tar.gz
3.得到目录spark后,进入spark目录,进入conf子目录,将 spark-env.sh-template 重命名为spark-env.sh,并添加以下代码行:
export SCALA_HOME=你的scala安装路径
export JAVA_HOME=你的jdk安装路径 我的如下图所示:
4.去设置spark-shell的环境变量,如下图:当然你按照你的路径,这是我的路径
5.source /etc/profile
6.敲入:spark-shell
spark配置集群:在spark目录下的conf/中找到spark-env.sh。如下图加入两行参数,当然还有许多可以配置的参数
IP写上你的master的IP,修改master的就行,其余的不用。
修改此目录下的slaves:
把你所有的slave的机器名写进来。
启动集群(1)Spark启动与关闭
1)在Spark根目录启动Spark,敲入:./sbin/start-all.sh
2)关闭Spark敲入:./sbin/stop-all.sh
(2)查看spark集群,敲入:jps,在master会出现master,在slave机器上出现worker