在centos7上部署的spark启动文档

为了记录已经部署好的spark环境启动过程，进行记录。

1.设置ip地址

sudo ifconfig ens33 192.168.184.2

--master01

sudo ifconfig ens33 192.168.184.3 

--slave01

sudo ifconfig ens33 192.168.184.4 

--slave02

三台机器关闭防火墙

 sudo systemctl stop firewalld.service

在master01上执行

/data/install/hadoop/hadoop-2.7.0/sbin/start-dfs.sh
/data/install/hadoop/hadoop-2.7.0/sbin/start-yarn.sh

/data/install/hadoop/hbase-1.2.4/bin/start-hbase.sh

测试hadoop是否可用

hadoop jar /data/install/hadoop/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount input output

如提示安全模式

bin/hadoop dfsadmin -safemode leave  

进入spark目录

cd /data/install/hadoop/spark-2.0.2-bin-hadoop2.7/bin/
./spark-shell