hadoop（伪分布式）上的spark和Scala安装与配置

前言：
在搭建spark和Scala前提下，必需安装好hive和java，和 Hadoop的伪分布式 哦

一、下载spark和Scala
1、安装与配置Scale     
  （1）去官网下载Scala

        官网地址：
The Scala Programming Language (scala-lang.org)
https://www.scala-lang.org/

这里我要的是scala-2.2.12.12.tgz

然后我们点击 all releases

点进去之后往下找

然后找我们需要的tgz文件（注意：在Linux版本中我们需要用到 .tgz后缀）

（2）、安装Scala

这里我使用是xshell进行的操作，需要的可以自行下载，这里就不多做解释了（xshell）

打开xshell，连接虚拟机，找到xftp进行文件传输

然后进行文件的托拽到（/root）目录下，也可以复制哦

这里是拖拽完后的出效果

然后我们用xshell进入到此目录下

代码为：

cd /usr/local/src

进去之后可以看到我们的安装包

然后用tar命令解压文件，解压到/usr/local/src目录下

代码为：

tar -zxvf /root/scala-2.12.12.tgz -C /usr/local/src/

之后就进入/root目录

cd /root
进行改名字

mv scala-2.12.12/ scala
查看，可以看到scala

(3)、配置scala的环境变量

        vim进入 /etc/profile目录

vim /etc/profile
键盘输入“a”，进行插入

插入俩行配置文件

export SCALA_HOME=/urc/local/src/scala
export PATH=$PATH:${SCALA_HOME}/bin
这要注意路径问题，如果自己的路径与我不一样就需要改成你放Scala的目录下，还有空格的书写

然后退出保存,输入 :wq!

:wq!

然后用source重启环境文件

source /etc/profile

（4）、Scala的查看

用version查看

scala -version

输入scala后，看出现一下就说明搭建成功

二、spark部署与安装
（1）spark的下载
        去官网下载spark
Index of /spark
https://dlcdn.apache.org/spark/
点到里面去

选择我们需要的版本

下载好后我们使用同样的办法把他放入到 /opt/software 目录下

我们进入到/root 目录下查看

cd /root
ll

解压文件到 /usr/local/src 目录下

代码

tar -zxvf spark-3.4.2-bin-hadoop3.2.tgz -C /usr/local/src/

把文件名改为spark

mv spark-3.1.1-bin-hadoop3.2 spark

（2）、配置spark的环境变量

用vim修改/etc/profile文件

vim /etc/profile

输入环境变量

代码

export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin
输入完后保存并退出

:wq!

保存好后就（重启）source一下配置文件

代码

source /etc/profile

（3）、修改配置文件

     先备份文件cp spark-env.sh.template文件

进入到/conf目录下

cd /usr/local/src/spark/conf/
备份

cp spark-env.sh.template spark-env.sh

进行配置spark配置文件

修改spark- env.sh文件，加以下内容:

vim spark-env.sh
内容：

export SCALA_HOME=/usr/local/src/scala
export JAVA_HOME=/usr/local/src/java
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/opt/module/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

（4）进入spark/sbin 启动spark ./start-all.sh

cd /usr/local/src/spark/sbin
./start-all.sh 

(5)查看spark

spark-submit --version

出现上面的情况，说明你的伪分布式的spark安装成功！！！