Hadoop集群安装spark集群

软件环境：
Ambari搭建的hadoop平台

环境准备：
修改主机名为namenode snamenode datanode1 datanode2 datanode3
各机器ssh免密码登录
Namenode机器已安装java

1) 下载官网已编译好的spark压缩包 http://spark.apache.org/downloads.html
下载文件包不完整错误
下载spark1.5总遇到压缩包下载不完整的情况。导致在centos系统解压缩时，总报错压缩文件非正常结束。
2) 修改配置文件
vi spark/conf/spark-env.xml
export JAVA_HOME=/usr/jdk64/jdk1.7.0_67
export HADOOP_HOME=/usr/hdp/2.2.6.0-2800/hadoop
export HADOOP_CONF_DIR=/usr/hdp/2.2.6.0-2800/hadoop/etc/hadoop
export SPARK_MASTER_IP=namenode
export SPARK_LOCAL_DIRS=/tmp/spark/
export SPARK_DRIVER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=2G
export SPARK_MASTER_WEBUI_PORT=8083
vi spark/conf/slaves
snamenode
datanode1
datanode2
datanode3
3) 配置spark环境变量到path (可选)
sudo vim /etc/profile
export JAVA_HOME=/usr/lib/jdk7
export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export SPARK_HOME=/home/zarchary/software/spark-0.8.1 PATH=$PATH:$JAVA_HOME/bin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin
export PATH
source /etc/profile #让配置生效