人傻就要多读书

pyspark 使用 Ipython

如果使用原生的pyspark,提示简陋,不小心敲错害不能回退,体验非常糟糕。如下:

$SPARK_HOME/bin/pyspark

这里写图片描述

在client的spark-env中添加配置:

export IPYTHON=1
export IPYTHON_OPTS=" "

再次使用,已经是ipython的

$SPARK_HOME/bin/pyspark

这里写图片描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lsshlsw/article/details/49953455
文章标签: spark pyspark ipython
个人分类: Spark
上一篇Spark Dynamic Allocation 分析
下一篇spark 1.5.x Unable to acquire 33554432 bytes of memory
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭