大数据随记 —— Spark 基本安装及相关配置

大数据系列文章：👉 目录 👈

〇、安装前准备

• Spark 安装包 （注意选择合适的安装包）
  • 下载|Apache Spark
  • spark-3.3.0-bin-hadoop3.tgz

一、Spark 安装

1、配置 Spark 环境变量

① 进入安装包所在目录

cd /opt/software 

② 解压安装包

tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz

③ 移动相关文件到指定目录

mv spark-3.1.3-bin-hadoop2.7 /opt/module

④ 打开 profile 文件

sudo vi /etc/profile

⑤ 配置 Spark 环境变量

#SPARK_HOME

export SPARK_HOME=/opt/module/spark-3.1.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

⑥ 环境变量生效

source /etc/profile

2、修改 Spark 配置文件

进入 Spark 的 conf 目录。

a、配置 workers（slaves）

① 拷贝 workers

cp workers.template workers

② 在 workers 中添加以下节点

master
node1
node2

注意删掉 localhost。

b、配置 spark-env.sh

① 拷贝 spark-env.sh

cp spark-env.sh.template spark-env.sh

② 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/root/share/jdk1.8.0_171

SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077

c、拷贝 Spark 到其它节点

scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node1:/opt/module/spark-3.1.3-bin-hadoop2.7/


scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node2:/opt/module/spark-3.1.3-bin-hadoop2.7/

3、测试

输入 http://master:8080/，或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。

二、Spark Maven 项目配置

一般选择好 Spark 版本后就会出现配置方法。

<dependencies>  
    <dependency>  
        <groupId>org.apache.spark</groupId>  
        <artifactId>spark-core_2.12</artifactId>  
        <version>3.3.0</version>  
    </dependency>  
</dependencies>  

<build>  
    <plugins>  
        <!-- 该插件用于将 Scala 代码编译成 class 文件-->  
        <plugin>  
            <groupId>net.alchim31.maven</groupId>  
            <artifactId>scala-maven-plugin</artifactId>  
            <version>3.2.2</version>  
            <executions>  
                <execution>  
                    <!-- 声明绑定到 maven 的 compile 阶段 -->  
                    <goals>  
                        <goal>testCompile</goal>  
                    </goals>  
                </execution>  
            </executions>  
        </plugin>  
        <plugin>  
            <groupId>org.apache.maven.plugins</groupId>  
            <artifactId>maven-assembly-plugin</artifactId>  
            <version>3.1.0</version>  
            <configuration>  
                <descriptorRefs>  
                    <descriptorRef>jar-with-dependencies</descriptorRef>  
                </descriptorRefs>  
            </configuration>  
            <executions>  
                <execution>  
                    <id>make-assembly</id>  
                    <phase>package</phase>  
                    <goals>  
                        <goal>single</goal>  
                    </goals>  
                </execution>  
            </executions>  
        </plugin>  
    </plugins>  
</build>