启动SparkContext时出错---ValueError: Cannot run multiple SparkContexts at once; existing SparkContext

# 启动SparkContext

启动SparkContext的时候,提示ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(...)

// 创建SparkContext的最基本方法,只需要传递两个参数。
// 集群URL:告诉Spark如何连接到集群上,使用local可以让spark运行在单机单线程上。
// 应用名:使用"My App",当连接到一个集群时,这个值可以在集群管理器的用户界面中找到你的应用。

>>> from pyspark import SparkConf, SparkContext
>>> conf = SparkConf().setMaster("local").setAppName("My App")
>>> sc = SparkContext(conf = conf)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/xl/spark/spark-2.1.0-bin-hadoop2.7/python/pyspark/context.py", line 115, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "/home/xl/spark/spark-2.1.0-bin-hadoop2.7/python/pyspark/context.py", line 272, in _ensure_initialized
    callsite.function, callsite.file, callsite.linenum))
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by <module> at /home/xl/spark/spark-2.1.0-bin-hadoop2.7/python/pyspark/shell.py:43 


出现这个错误是因为之前已经启动了SparkContext,所以需要先关闭spark,然后再启动。

>>> sc.stop()    // 关闭spark
>>> sc = SparkContext(conf = conf)
>>> conf
<pyspark.conf.SparkConf object at 0x7fedfc83bf10>
>>> sc
<pyspark.context.SparkContext object at 0x7fedfc943210>
>>> 












  • 7
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值