两步实现spark集群

进入spark 的安装目录下的sbin文件夹
master节点
#master的ip是192.168.1.8

这一步就是声明:我是Master!
你们这些worker向我看其听我指挥;

./start-master.sh --host 192.168.10.182#master的ip是192.168.10.182

slave节点

cd /home/luogan/spark_install/spark-2.3.1-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh

对slave节点进行配置,声明这个worker出多少人,SPARK_WORKER_CORES=1;
出多少钱,SPARK_WORKER_MEMORY=1g

JAVA_HOME=/home/luogan/spark_install/jdk1.8.0_151
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

cp slaves.template slaves
vi slaves
你打算在哪几个主机上放worker就在slaves里加入它的主机名 
luogan

进入slave电脑下的 spark 的安装目录下的sbin文件夹

./start-slave.sh spark://192.168.1.8:7077 

通过下面这条命令就可以在集群环境下进行操作

#./bin/spark-shell --master spark://IP:PORT
./bin/spark-shell --master spark://luogandeMacBook-Pro.local:7077

官方文档

参考链接