linux(centos7)基于hadoop2.5.2安装spark1.2.1

1、安装hadoop参考

http://blog.csdn.net/bahaidong/article/details/41865943

2、安装scala参考

http://blog.csdn.net/bahaidong/article/details/44220633

3、安装spark

下载spark最新版spark-1.2.1-bin-hadoop2.4.tgz

http://www.apache.org/dyn/closer.cgi/spark/spark-1.2.1/spark-1.2.1-bin-hadoop2.4.tgz

上传到linux上/opt下面，解压

[root@master opt]# tar -zxf spark-1.2.1-bin-hadoop2.4.tgz

修改属组（与hadoop一个用户）

[root@master opt]# chown -R hadoop:hadoop spark-1.2.1-bin-hadoop2.4

查看权限

[root@master opt]# ls -ll

drwxrwxr-x  10 hadoop    hadoop          154 2月   3 11:45 spark-1.2.1-bin-hadoop2.4
-rw-r--r--   1 root      root      219309755 3月  12 13:41 spark-1.2.1-bin-hadoop2.4.tgz

添加环境变量

[root@master spark-1.2.1-bin-hadoop2.4]# vim /etc/profile

export SPARK_HOME=/opt/spark-1.2.1-bin-hadoop2.4
export PATH=$PATH:$SPARK_HOME/bin

:wq    #保存并退出

执行

[root@master spark-1.2.1-bin-hadoop2.4]# . /etc/profile

切换用户

[root@master spark-1.2.1-bin-hadoop2.4]# su hadoop

进入conf

[hadoop@master spark-1.2.1-bin-hadoop2.4]$ cd conf

拷贝spark-env.sh.template 到 spark-env.sh

[hadoop@master conf]$ cp spark-env.sh.template spark-env.sh

编辑

[hadoop@master conf]$ vim spark-env.sh

添加如下内容

export JAVA_HOME=/usr/java/jdk1.7.0_71
export SCALA_HOME=/usr/scala/scala-2.11.6
export SPARK_MASTER_IP=192.168.189.136     #集群master的ip
export SPARK_WORKER_MEMORY=2g                #worker几点分配给excutors的最大内存，因为三台机器都是2G
export HADOOP_CONF_DIR=/opt/hadoop-2.5.2/etc/hadoop     #hadoop集群的配置文件的目录

编辑slaves

[hadoop@master conf]$ cp slaves.template slaves
[hadoop@master conf]$ vim slaves

修改成如下内容

master
slave1
slave2

4、安装另两台slave1与slave2，安装过程与上述过程一样直接拷贝文件即可

[hadoop@master opt]$ scp -r spark-1.2.1-bin-hadoop2.4 root@slave1:/opt/

[hadoop@master o