在win7下配置pyspark在jupyter notebook中使用的简单方法

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiaoliuzz/article/details/78644619

在win下配置好spark运行的必要条件后,想要在jupyter notebook上而不是shell里运行pyspark。只需要在windows环境变量中为pyspark在jupyter notebook中启动设置两个变量。

1、新建系统变量PYSPARK_DRIVER_PYTHON,值设为jupyter;

2、新建系统变量PYSPARK_DRIVER_PYTHON_OPTS,值设为notebook。

重启电脑,在shell中cd到spark安装目录,运行.\bin\pyspark 将会打开jupyter notebook。此时新建kernel为Python2(或Python 3,根据你的Python版本确定)的notebook即可。


参考文献:

https://www.cnblogs.com/kongchung/p/5646608.html

展开阅读全文

没有更多推荐了,返回首页