jupyter安装_pyspark+jupyter本地安装新手指南

一、 安装过程中主要注意一下几点：

1. Spark, hadoop和java版本是否匹配，特别是java版本；
2. 在设置各个环境变量时可以辅助以自己手动选择文件夹，确认设置的环境变量地址都能够和本地文件夹对应得上；

二、 安装步骤：

1. 首先安装Anaconda, 此处安装的是Anaconda3-5.3.1-Windows-x86_64.exe，简单粗暴一直“下一步”就好；
2. 安装JDK，目前运行没有出问题的是jdk-8u231-windows-x64.exe（对应java版本为1.8，目前新出版本谨慎安装，楼主安装了

只有jdk1.8 没有报错，jdk下的内容为：

1. 下载APache Spark

下载后解压缩到本地文件夹下：

1. 下载Hadoop

下载后解压缩放到本地文件夹下：

1. 集中配置系统和用户变量；

控制面板——系统和安全——系统——高级系统设置

再点击环境变量
（1）在“用户变量”中“新增”的绝对路径：
HADOOP_HOME: E:hadoop-2.10.0.tarhadoop-2.10.0
举一个栗子：

JAVA_HOME:C:Program FilesJavajdk1.8.0_231
SPARK_HOME:E:spark-3.0.0-preview2-bin-hadoop2.7spark-3.0.0-preview2-bin-hadoop2.7

SCALA_HOME：C:Program Files (x86)scala

PYSPARK_DRIVER_PYTHON：ipython

PYSPARK_DRIVER_PYTHON_OPTS：notebook

PYSPARK_PYTHON：E:Anacondapython.exe

选中PATH并选择“编辑”，接着按“新建”增加如下六条：

让cmd自己识别这些路径

加入后在cmd中输入conda可以使用

（2）在“系统变量”中“新增”：
HADOOP_HOME: E:hadoop-2.10.0.tarhadoop-2.10.0
JAVA_HOME:C:Program FilesJavajdk1.8.0_231
CLASSPATH：.;%JAVA_HOME%lib;%JAVA_HOME%libtools.jar（备注：一定要写完加黑字体内容）
SPARK_HOME:E:spark-3.0.0-preview2-bin-hadoop2.7spark-3.0.0-preview2-bin-hadoop2.7
PYSPARK_DRIVER_PYTHON: jupyter
PYSPARK_DRIVER_PYTHON_OPTS：notebook
PYSPARK_PYTHON:‪E:Anacondapython.exe
选中PATH并选择“编辑”，接着按“新建”增加如下三条：
%JAVA_HOME%bin
%HADOOP_HOME%bin
%SPARK_HOME%bin
接下来一直按“确定”即可

1. 在Anaconda prompt中输入"pyspark"即可触发jupyter。