Spark-2.1.1集群的安装和配置（基于Hadoop-2.7.3）

准备

• 1.安装配置好的Hadoop-2.7.3分布式集群
  namenode：
  mini1：192.168.213.133
  datanode：
  mini2：192.168.213.134
  mini3：192.168.213.135
• 2.安装配置JDK
• 3.配置SSH免密码登陆
• 4.spark-2.1.1-bin-hadoop2.7.tgz安装包

安装

• 1.解压spark-2.1.1-bin-hadoop2.7.tgz安装包实现安装

# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/spark

• 2.重命名

# cd /usr/local/spark
# mv spark-2.1.1-bin-hadoop2.7 spark-2.1.1

配置

• 1.修改spark-env.sh.template文件

# cp spark-env.sh.template spark-env.sh