在win下配置好spark运行的必要条件后,想要在jupyter notebook上而不是shell里运行pyspark。只需要在windows环境变量中为pyspark在jupyter notebook中启动设置两个变量。
1、新建系统变量PYSPARK_DRIVER_PYTHON,值设为jupyter;
2、新建系统变量PYSPARK_DRIVER_PYTHON_OPTS,值设为notebook。
重启电脑,在shell中cd到spark安装目录,运行.\bin\pyspark 将会打开jupyter notebook。此时新建kernel为Python2(或Python 3,根据你的Python版本确定)的notebook即可。
参考文献: