ubuntu安装Spark

一、安装JDK8

1、解压

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

2、添加环境变量

cd ~
vim ~/.bashrc

这个文件的开头位置，添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc
java -version

二、安装Python

1、安装Python

wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tar.xz
xz -d Python-3.6.0.tar.xz
tar -xvf  Python-3.6.0.tar
cd Python-3.6.0
./configure
make
sudo make install

2、测试Python是否安装完成

$ python3.6 --version
Python 3.6.0

三、安装Spark

1、解压spark-2.4.0-bin-with-hadoop.tgz

sudo tar -zxf ~/下载/spark-2.4.0-bin-with-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.4.0-bin-with-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

2、运行例子

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is"

3、提交命令

/usr/local/spark/bin/spark-submit ./wordcount.py

参考：
在 Ubuntu 16.04 LTS 上安装 Python 3.6.0
Spark安装和编程实践（Spark2.4.0）