zeppelin中spark结合pyspark 常出现问题

17 篇文章 0 订阅
3 篇文章 0 订阅

问题:zeppelin 运行程序过程中经常出现

AttributeError: ‘NoneType’ object has no attribute ‘sc’

‘NoneType’ object has no attribute ‘setJobGroup’

主要原因:
在zeppelin 中
不能一次性开多个sc(SparkContext),因为之前已经存在一个Spark Contexts,所以再创建一个新的sc会报错。所以解决错误的办法就是,必须把已有的sc给关闭掉,才能创建新的sc。那怎么去关闭呢?我们可以用sc.stop()函数就可以关闭了。

解决方式
在interpreter 的spark 中
spark.dynamicAllocation.enabled 设置为true
删除掉
sc = SparkContext()

sc.stop()

然后重新启动iterpreter
运行程序发现完美解决

问题解决
例子程序
在这里插入图片描述

注意:在zeppelin 中建议一个shell 中最好建立一个sc

参考:https://blog.csdn.net/ZengHaihong/article/details/53423456

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值