Linux 安装spark教程

安装JDK

1. 下载JDK: jdk-8u152-linux-x64.tar.gz
   链接: https://pan.baidu.com/s/1d1lEELsUrXAQ–sf_PDBtg
   提取码: ib5x
2. 解压 : jdk-8u152-linux-x64.tar.gz
   可以新建一个文件夹，命名为 java，然后将安装包放在这个新建的文件夹中，有助于文件管理。
   命令中输入：

tar zxvf jdk-8u152-linux-x64.tar.gz

3. 配置环境变量，命令行输入：
   编辑环境变量

sudo vim /etc/profile

vim命令：
i 插入,编辑
esc 退出编辑
shift+q 退出vim
wq 保存并退出（或者 :x)
在profile文件中添加如下环境变量即可

#JAVA Env
export JAVA_HOME=/home/mao/java/jdk1.8.0_152
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

添加完成后在终端命令行中输入：
刷新环境变量配置，让其立即生效

source /etc/profile

4. 检验java是否安装成功，命令行输入：

Java -version

如果出现👇，恭喜安装成功啦

java version "1.8.0_152
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16 mixed mode)

到这里，Java环境配置好。

安装Scala

1. 下载scala：
   https://downloads.lightbend.com/scala/2.13.3/scala-2.13.3.tgz
2. 解压：scala-2.13.3.tgz
   同Java方法一样，新建一个文件夹scala，然后将安装好
   终端中输入：

tar zxvf scala-2.13.3.tgz

3. 配置环境：终端输入 sudo vim/etc/profile

环境变量添加如下：

#Scala Env
export PATH="$PATH:/home/mao/scala/scala-2.13.3/bin"

:x 保存退出
然后 终端 输入 ： source / etc/profile 立即生效
4. 检验是否安装成功

$ scala
Welcome to Scala version 2.13.3(Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).
Type in expressions to have them evaluated.
Type :help for more information.

安装成功。

安装Spark

1. 下载Spark:http://spark.apache.org/downloads.html
2. 解压：spark-3.0.0-bin-hadoop2.7.tgz

tar –zxvf spark-3.0.0-bin-hadoop2.7.tgz

3. 编辑环境变量：

sudo vim /etc/profile

文末添加：

#spark env
export PATH="$PATH:/home/mao/spark/spark-3.0.0-bin-hadoop2.7/bin"

再source /etc/profile

4. 检验是否成功安装spark
   终端输入：

spark-shell

输出：

安装成功！
初步环境安装过程记录，下期再开始学着写代码。