weixin_45684171的博客

十一、Spark集群安装部署 1. 下载spark安装包 2. 解压spark安装包 进入到/export/software/目录下 cd /export/software/ 上传spark-2.3.2-bin-hadoop2.7.tgz rz 查看 ls 解压安装包 tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/ 进入解压后的目录 cd /export/servers/ 查看 ls 重命名 mv spark-2.

十二、Spark HA集群部署 1. 修改spark-env.sh配置文件 进去spark-env.sh目录后，把原先的export SPARK_MASTER_HOST=hadoop01用#注释掉，并添加 vi spark-env.sh export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03