Spark 安装与配置

配置 Spark HA 集群 需要配置zookeeper

        zookeeper 安装与配置_古月皮皮的博客-CSDN博客

一 . 下载Spark

      1.  Apache Spark：Apache Spark™ - Unified Engine for large-scale data analytics

      2. 从外机向虚拟机中传输

链接: https://pan.baidu.com/s/17j8IYu0wJKjmxRYC8dTEpA 提取码: jj4e
--来自百度网盘超级会员v2的分享

scp -r 自己要分发文件   用户名@主机名：分发到位置
scp -r spark-2.3.2.tar.gz root@Hadoop2:/export/software

        三.修改配置文件

        1.到 该文件路径下

        并用 ll 查看是否有该文件

        

 2.解压该安装包到某一目录下

tar -zxvf spark-2.3.2-bin-2.7.2.tgz -C /export/servers/

 3.修改解压后spark 的目录名

 mv spark-2.3.2-bin-hadoop2.7.2 spark

4.环境变量：

sudo vim /etc/profile

                 =自己 spark 的安装路径  
export SPARK_HOME=/opt/spark/
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

5.到 spark/conf 目录下

cd /export/servers/spark/conf

6.复制重命名 spark-env.sh 和 slaves

spark-env.sh.template 为 spark-env.sh

slaves.template 为 slaves

cd spark/conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

7.配置 spark-env.sh

vim spark-env.sh

8.配置 slaves

vim slaves

9.启动 spark 集群，并用 jps 查看

  start-all.sh

  jps