Spark的环境搭建

1、解压spark安装包

2、配置slaves 配置从节点

进入到conf 下 cp slaves.template slaves
vim slaves 删除localhost 写入 node02 node03

3、配置主节点 配置 需要根据实际情况来配置 超出配置 可能web会访问不了

cp spark-env.sh.template  spark-env.sh
vim  spark-env.sh 

写入

export SPARK_MASTER_IP=node01   //配置主节点
export SPARK_MASTER_PORT=7077  //配置端口
export SPARK_WORKER_CORES=2   // 并行数是多少  cpu有多少核就可以配多少  根据实际来定
export SPARK_WORKER_MEMORY=3g  //配置 几个g的内存
SPARK_MASTER_WEBUI_PORT=8888  //配置web访问的端口 可以不设置

4、启动spark 进入到spark的 sbin下

./ start-all.sh 启动
最好别配环境变量 会与hadoop启动冲突
因为web 访问默认端口是8080 可以修改 因为这个端口与tomcat冲突了

1、在sbin下修改 vim start-master.sh

修改

SPARK_MASTER_WEBUI_PORT=8888  

2.、在conf下的配置文件修改

  vim  spark-env.sh 

SPARK_MASTER_WEBUI_PORT=8888  //配置web访问的端口

3、临时变量修改
在命令行敲入 export SPARK_MASTER_WEBUI_PORT=8888

5、web访问spark node01：8080