spark3.0.0伪分布式搭建

1．环境准备
jdk 1.8.0_73
hadoop-2.6.5伪分布式部署 (伪分布节点打开)
scala 2.13.6
spark-3.0.0

2.安装scala

1.上传scala包，解压缩

tar -zxvf scala-2.13.6.tgz -C /opt/modules/

2.配置环境变量SCALA_HOME

在根目录下： vi /etc/profile

export SCALA_HOME=/opt/modules/scala-2.13.6
export PATH=$SCALA_HOME/bin:$PATH
 

 3.  source /etc/profile  使得生效

4.验证scala安装情况   scala -version        (到此步说明已经安装成功)

 5.打开scala进行检验 ，  输入命令 scala    （退出命令    :quit）

至此scala已经安装完毕

3.安装spark

1. 解压spark安装包

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/modules/

2.并配置SPARK_HOME环境变量，最后用 source使之生效。

在根目录下： vi /etc/profile

export SPARK_HOME=/opt/modules/spark-3.0.0-bin-hadoop3.2
export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

3 更改配置  在/opt/modules/spark-3.0.0-bin-hadoop3.2/conf  目录下 (一共需要更改两个配置)

3.1  更改slaves配置

（1） cp slaves.template slaves

（2） vi slaves     

[root@master1 conf]# cp slaves.template slaves
[root@master1 conf]# vi slaves

(3) 进入slaves后，在最后添加主机名   master1.hadoop

 3.2 更改spark-env.sh 配置

 （1）cp spark-env.sh.template spark-env.sh

 （2）vi spark-env.sh

[root@master1 conf]# cp spark-env.sh.template spark-env.sh 
[root@master1 conf]# vi spark-env.sh

 (3) 进入spark-env.sh后，进行以下配置

export JAVA_HOME=/opt/modules/jdk1.8.0_73
export SCALA_HOME=/opt/modules/scala-2.13.6
export SPARK_WORKER_MEMORY=1G
export HADOOP_HOME=/opt/modules/hadoop-2.6.5
export HADOOP_CONF_DIR=/opt/modules/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=192.168.117.128

 至此需要配置的基本都配置完

4.启动spark 

    （1） 先启动hadoop环境

    （2）再启动spark环境      启动命令     ./start-all.sh   （在spark的sbin目录下）

         如果jps后，如下则表示启动成功

[root@master1 sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/modules/spark-3.0.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.master.Master-1-master1.hadoop.out
master1.hadoop: starting org.apache.spark.deploy.worker.Worker, logging to /opt/modules/spark-3.0.0-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master1.hadoop.out
[root@master1 sbin]# jps
8625 ResourceManager
9702 DataNode
47575 Jps
8759 NodeManager
47144 Worker
9482 NameNode
11372 SecondaryNameNode
46717 Master

    （3）启动spark        启动命令    ./spark-shell  

  (在时候是在spark的bin目录下，跟上边sbin不同，不要搞错了！！！)

 

    （4）查看spark的web控制页面

         192.168.117.128：8080

 

      如上图所示说明启动成功！！

在读大数据专业，大三老学长，如有错误，希望大家积极留言