如何在windows下安装配置pyspark notebook

第一步：安装anaconda

anaconda自带一系列科学计算包

下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3

接着配置环境变量：如我安装在D盘下  

 

试一下命令行启动，确保ipython从anaconda启动

 

第二步：安装spark（需要提前安装JDK）

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本：

解压缩之后，不要忘记添加环境变量

配置如下系统变量

 接着需要在命令行键入(spark安装目录下：如D:\spark) > sbt package   进行编译

 

这一步很重要  拷贝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目录下

 

第三步：修改spark\conf下的spark-env文件（不知道是否必要）

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

 

第四步：启动pyspark

发现已启动成功，一般网页会自动打开http://localhost:8888/tree#

 

第五步：测试sc

成功！

 

转载于:https://www.cnblogs.com/zhw-080/p/5740580.html