最近读了一本书<machine learning with spark> ,在第三章中讲到用增强的交互式ipython运行pyspark,也就是用如下命令:
> IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark
本人在windows平台下的shell中跑spark,上述命令运行失败。查阅了多个文献,大都是讲在linux平台下的ipython配置来运行 pyspark。在 spark的conf目录下配置也不起作用,这下犯难了!!!
假设您已经安装了 python及相关的库,下面是解决办法:
在spark配置文件中,%SPARK_HOME%/bin目录下有pypspark, pyspark.cmd, pyspark2.cmd三个文件,第一个是.sh文件(linux),第二、三个windows的脚本文件,其中pyspark2.cmd是主要执行文件,其内容如下:
-------------------------------------------------------------------------------------------------------------------------------------------------------------
set SPARK_HOME=%~dp0..
call %SPARK_HOME%\bin\load-spark-env.cmd
set _SPARK_CMD_USAGE=Usage: