如何在windows下安装配置pyspark notebook

如何在windows下安装配置pyspark notebook

第一步：安装anaconda

anaconda自带一系列科学计算包

接着配置环境变量：如我安装在D盘下  

 

试一下命令行启动，确保ipython从anaconda启动

 

第二步：安装spark（需要提前安装JDK）

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本：

解压缩之后，不要忘记添加环境变量

SPARK_HOME=E:\spark

path=%SPARK_HOME%\bin

配置如下系统变量

 接着需要在命令行键入(spark安装目录下：如D:\spark) > sbt package   进行编译

 sbt下载与安装（不知道是否必须要）

下载地址：http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Windows.html

配置sbt环境变量

SBT_HOME

C:\sbt-0.13.8

配置到环境变量path中

;%SBT_HOME%\bin

安装sbt成功与否

这一步很重要  拷贝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目录下

 

第三步：修改spark\conf下的spark-env文件（不知道是否必要）

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

 

第四步：启动pyspark

发现已启动成功，一般网页会自动打开http://localhost:8888/tree#

 

第五步：测试sc

成功！