基于CentOs的spark安装与配置

1. Hadoop测试

1.1 启动Hadoop

cd /opt/hadoop-2.7.1
./sbin/start-all.sh

1.2 查看是否成功

jps

2. Scala安装与配置

2.1 下载scala

下载网址：Index of /dist/spark/spark-3.2.2

2.2 解压并重命名

sudo tar zxvf scala-2.13.10.tgz -C /usr/local/soft/ # 解压

cd /usr/local/soft/
sudo mv scala-2.13.10 scala # 重命名

2.3 配置环境

sudo vim /etc/profile

添加以下内容

export SCALA_HOME=/usr/local/soft/scala
export PATH=$PATH:$SCALA_HOME/bin

2.4 更新环境变量

2.5 查看是否安装成功

scala -version

2.6 进入Scala命令行模式

scala

2.7 查看常用命令

:help

2.8 退出

：quit

3. Spark安装与配置

3.1 下载Spark

下载网址：Index of /dist/spark/spark-3.2.2

3.2 上传至虚拟机

3.3 解压至相关目录并重命名

解压

sudo tar zxvf spark-3.2.2-bin-hadoop3.2.tgz  -C /usr/local/soft

重命名

cd /usr/local/soft/
sudo mv spark-3.2.2-bin-hadoop3.2 spark

3.4 配置环境

进入Spark安装目录下的“conf”文件夹，将文件复制一份并重命名为spark-envsh:

cd /usr/local/soft/spark/conf/
cp spark-env.sh.template spark-env.sh

修改spark-env.sh文件

vim spark-env.sh

配置profile文件

sudo vim /etc/profile

添加两行

export SPARK_HOME= /usr/local/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

更新环境变量

source /etc/profile

3.5 运行Spark

通过运行Spark自带的示例，验证Spark是否安装成功：

cd /usr/local/soft/spark
./bin/run-example SparkPi

3.6 查看Spark版本

cd /usr/local/soft/spark
./bin/spark-shell