spark环境搭建

前言

1.安装环境依赖

运行所需 Java、 scala 环境。

1.1 安装scala

先创建需要下载scala的目录

mkdir scala

下载scala

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

解压安装

tar -zxvf scala-2.11.8.tgz

 vi /etc/profile

添加对应的配置，根据你安装scala 的位置来配置。

#scala
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=PATH:SCALA_HOME/bin

最重要的 是配置生效

source /etc/profile

安装 Java 和 scala 类型，此处略。

2.安装spark

在你指定的位置下，下载spark

　wget https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

解压安装

tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

配置路径

vi /etc/profile

#spark
export SPARK_HOME=/usr/local/work/spark/spark-3.1.2-bin-hadoop3.2
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1G

最重要的 是配置生效

source /etc/profile

3、运行spark

cd spark/spark-3.1.2-bin-hadoop3.2/bin/

执行命令

./spark-shell 

上图表示安装成功。

4、需要看启动日志

进入 conf 下，

vi log4j.properties.template

注释原来的，修改要增加的即可。

#log4j.logger.org.apache.spark.repl.Main=WARN
log4j.logger.org.apache.spark.repl.Main=INFO

然后重新启动即可。

访问web ui
http://ip:4040/jobs/