基于centos7的hadoop伪分布式spark+scala（详细教程）

准备活动：需要scala和spark安装包

0.1-进入scala官网，找到ALL RELEASES选项，点击进入

The Scala Programming Language (scala-lang.org)

0.2-选择你需要的版本下载

0.3-进入spark官网，下载你需要的版本

https://dlcdn.apache.org/spark/

准备活动完毕，系好安全带准备发车了！！！

scala安装教程

1.下载压缩包并解压到module文件夹

[root@master opt]# tar -zxvf /opt/software/scala-2.13.13.tgz -C /opt/module/

[root@master opt]# cd /opt/module/

2．修改名字

[root@master module]# mv scala-2.13.13/ scala

3.修改配置文件

[root@master module]# vim /etc/profile

在文档底部插入：

export SCALA_HOME=/opt/module/scala
export PATH=$PATH:${SCALA_HOME}/bin

4.验证配置

[root@master module]# source /etc/profile

5.查看Scala版本

[root@master module]# scala -version

Scala code runner version 2.13.13 -- Copyright 2002-2024, LAMP/EPFL and Lightbend, Inc.

[root@master module]# scala

Welcome to Scala 2.13.13 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).

Type in expressions for evaluation. Or try :help.

scala>

Spark安装教程

**********注意安装包的解压路径*********

解压安装包

[root@master software]tar -zxvf spark-3.4.2-bin-hadoop3.2.tgz -C /opt/module/

修改名字为spark

[root@master module]# mv spark-2.0.0-bin-hadoop2.6 spark

修改配置文件

[root@master module]# vim /etc/profile

在文档底部插入

export SPARK_HOME=/opt/module/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

验证配置文件

[root@master module]# source /etc/profile

进入目录备份文件

[root@master module]# cd /opt/module/spark/conf/

[root@master conf]# cp spark-env.sh.template spark-env.sh

修改配置文件

**********注意java的安装路径*********

[root@master conf]# vim spark-env.sh

export SCALA_HOME=/opt/module/scala
export JAVA_HOME=/usr/local/src
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/opt/module/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

[root@master conf]# cd /opt/module/spark/sbin

[root@master sbin]# ./start-all.sh

验证

完全验证

Jps验证

50070端口验证

50090端口验证

8088端口验证

spark :8080端口验证