ubuntu18.04安装pyspark+jupyter指南

1. jdk，spark，pyspark的安装请按照这位博主的教程进行，注意不需要安装hadoop

如果是使用jupyter运行的话，不需要安装第五步zeppelin

我的jdk版本是1.8.0_281，spark是2.4.7-bin-hadoop2.7，python是3.7.0（注意Anaconda版本不能太新，pyspark不支持python3.8以上的版本）

2. vim ~/.bashrc修改环境变量，在末尾添加

export JAVA_HOME=/home/cxq/java/jdk1.8.0_281
export JRE_HOME=/home/cxq/java/jdk1.8.0_281/jre
export SPARK_HOME=/home/cxq/spark/spark-2.4.7-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

# added by Anaconda3 5.3.1 installer
# >>> conda init >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$(CONDA_REPORT_ERRORS=false '/ho