关于在windows平台下使用ipython运行pyspark的问题

原创 2015年11月20日 15:46:37

最近读了一本书<machine learning with spark> ,在第三章中讲到用增强的交互式ipython运行pyspark,也就是用如下命令:

                                                    > IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark

本人在windows平台下的shell中跑spark,上述命令运行失败。查阅了多个文献,大都是讲在linux平台下的ipython配置来运行 pyspark。在 spark的conf目录下配置也不起作用,这下犯难了!!!


假设您已经安装了 python及相关的库,下面是解决办法:

在spark配置文件中,%SPARK_HOME%/bin目录下有pypspark, pyspark.cmd, pyspark2.cmd三个文件,第一个是.sh文件(linux),第二、三个windows的脚本文件,其中pyspark2.cmd是主要执行文件,其内容如下:

-------------------------------------------------------------------------------------------------------------------------------------------------------------

set SPARK_HOME=%~dp0..

call %SPARK_HOME%\bin\load-spark-env.cmd
set _SPARK_CMD_USAGE=Usage: bin\pyspark.cmd [options]

rem Figure out which Python to use.
if "x%PYSPARK_DRIVER_PYTHON%"=="x" (
set PYSPARK_DRIVER_PYTHON=python
if not [%PYSPARK_PYTHON%] == [] set PYSPARK_DRIVER_PYTHON=%PYSPARK_PYTHON%
)

set PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%
set PYTHONPATH=%SPARK_HOME%\python\lib\py4j-0.8.2.1-src.zip;%PYTHONPATH%

set OLD_PYTHONSTARTUP=%PYTHONSTARTUP%
set PYTHONSTARTUP=%SPARK_HOME%\python\pyspark\shell.py

call %SPARK_HOME%\bin\spark-submit2.cmd pyspark-shell-main --name "PySparkShell" %*

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

PYSPARK_DRIVER_PYTHON参数是指用什么来运行pyspark,只需要将红色部分改为

                            PYSPARK_DRIVER_PYTHON=ipython

保存后,在运行pyspark,就可以直接用ipython运行pyspark了。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Win7 pySpark安装

1.序 由于笔者目前用python比较多,所以想安装下pySpark,并且在pyCharm中调用。 (1)jdk-8u91-windows-x64.exe (2)spark-1.3.0-bin-...

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...

解决Windows下pyspark无法初始化SparkContext(sc)的问题

参照了网上大神们的一些文章(如http://www.cnblogs.com/nucdy/p/6776187.html),在Windows下部署了Python+Spark的开发环境,但用官方网站上的例子...

pyspark 使用 Ipython

如果使用原生的pyspark,提示简陋,不小心敲错害不能回退,体验非常糟糕。如下:$SPARK_HOME/bin/pyspark 在client的spark-env中添加配置:export IPYTH...
  • lsshlsw
  • lsshlsw
  • 2015年11月20日 23:08
  • 1426

win10下安装pyspark

win7、win10下的pyspark的安装

windows下Python集成开发环境-Spyder安装和使用

Spyder是Python(x,y)的作者为它开发的一个简单的集成开发环境。和其他的Python开发环境相比,它最大的优点就是模仿MATLAB的“工作空间”的功能,可以很方便地观察和修改数组的值。 ...

在Python集成开发环境中调用Spark MLlib

Python拥有众多优秀的机器学习库如Scikit-Learn,然而这些机器学习库都在单机上运行,不支持集群上的分布式机器学习。Spark MLlib是Spark的机器学习库,并且支持Python。...

mac下使用spyder运行pysprk详解

mac下使用spyder运行pysprk详解

Spark编程指南(Python版)

Spark编程指南译者语:最近在学习Spark相关的知识,在网上没有找到比较详细的中文教程,只找到了官网的教程。出于自己学习同时也造福其他初学者的目的,把这篇指南翻译成了中文,笔者水平有限,文章中难免...

Spark安装和配置

http://blog.csdn.net/pipisorry/article/details/50924395安装HadoopSpark默认使用HDFS充当持久化层,所以需要安装Hadoop,当然也可...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于在windows平台下使用ipython运行pyspark的问题
举报原因:
原因补充:

(最多只允许输入30个字)