关于在windows平台下使用ipython运行pyspark的问题

原创 2015年11月20日 15:46:37

最近读了一本书<machine learning with spark> ,在第三章中讲到用增强的交互式ipython运行pyspark,也就是用如下命令:

                                                    > IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark

本人在windows平台下的shell中跑spark,上述命令运行失败。查阅了多个文献,大都是讲在linux平台下的ipython配置来运行 pyspark。在 spark的conf目录下配置也不起作用,这下犯难了!!!


假设您已经安装了 python及相关的库,下面是解决办法:

在spark配置文件中,%SPARK_HOME%/bin目录下有pypspark, pyspark.cmd, pyspark2.cmd三个文件,第一个是.sh文件(linux),第二、三个windows的脚本文件,其中pyspark2.cmd是主要执行文件,其内容如下:

-------------------------------------------------------------------------------------------------------------------------------------------------------------

set SPARK_HOME=%~dp0..

call %SPARK_HOME%\bin\load-spark-env.cmd
set _SPARK_CMD_USAGE=Usage: bin\pyspark.cmd [options]

rem Figure out which Python to use.
if "x%PYSPARK_DRIVER_PYTHON%"=="x" (
set PYSPARK_DRIVER_PYTHON=python
if not [%PYSPARK_PYTHON%] == [] set PYSPARK_DRIVER_PYTHON=%PYSPARK_PYTHON%
)

set PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%
set PYTHONPATH=%SPARK_HOME%\python\lib\py4j-0.8.2.1-src.zip;%PYTHONPATH%

set OLD_PYTHONSTARTUP=%PYTHONSTARTUP%
set PYTHONSTARTUP=%SPARK_HOME%\python\pyspark\shell.py

call %SPARK_HOME%\bin\spark-submit2.cmd pyspark-shell-main --name "PySparkShell" %*

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

PYSPARK_DRIVER_PYTHON参数是指用什么来运行pyspark,只需要将红色部分改为

                            PYSPARK_DRIVER_PYTHON=ipython

保存后,在运行pyspark,就可以直接用ipython运行pyspark了。


版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

关于在windows平台下使用ipython运行pyspark的问题

链接

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Win7 pySpark安装

1.序 由于笔者目前用python比较多,所以想安装下pySpark,并且在pyCharm中调用。 (1)jdk-8u91-windows-x64.exe (2)spark-1.3.0-bin-...

ipython[notebook]安装(windows平台)

环境:windows 8.1 professional 64位 方案一:python 2.7.9.amd64.msi+pip6.0.8 1. 下载安装python 2.7.9.amd.64...

在Windows平台使用Apache2.2和Mongrel运行Ruby on Rails

一、安装Ruby、rails、mongrel和Apache2.2 从rubyforge网站下载One-Click Ruby Install,运行安装程序,就安装好了ruby和rubygems。 运行命...

windows平台使用Cygwin安装hadoop遇到的问题

经过cygwin配置ssh的磨砺(参看:http://pwcrab.blog.163.com/blog/static/16990382220107267443810/)。下面就需要在cygwin下安装...

Windows平台下解决Oracle12c使用PDB数据库创建SDE的问题

Windows平台下解决Oracle12c使用PDB数据库创建SDE的问题 Oracle 12C中引入了CDB与PDB的新特性,在ORACLE 12C数据库引入的多租用户环境(Multitenant...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)