在Ubuntu上安装Spark可以按照以下步骤进行操作:
- 在终端窗口中输入以下命令来安装Java开发工具包(JDK):
sudo apt update
sudo apt install default-jdk
- 确认Java是否正确安装,输入以下命令来检查Java版本:
java -version
- 在终端窗口中输入以下命令来下载Spark安装包:
wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
- 解压下载的安装包:
tar xvf spark-3.2.0-bin-hadoop3.2.tgz
- 将Spark移动到合适的位置,例如移动到
/usr/local/spark
目录下:
sudo mv spark-3.2.0-bin-hadoop3.2 /usr/local/spark
- 配置Spark的环境变量,打开
~/.bashrc
文件并在末尾添加以下行:
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
- 重新加载
.bashrc
文件,使环境变量生效:
source ~/.bashrc
- 检查Spark是否正确安装,输入以下命令启动Spark Shell:
spark-shell
如果一切顺利,将会进入Spark Shell界面。
这样就完成了在Ubuntu上安装Spark的过程。