ModuleNotFoundError: No module named 'resource'问题及解决方法

这几天在调试pyspark程序的时候, 只要一涉及到RDD相关的程序就报这个缺少“resource” ModuleNotFoundError: No module named ‘resource’:

  • 状况:我用朋友pycharm运行spark程序,如图一的程序,一直不成功,报resource的错误。
  • 预测问题:spark程序可能调用spark里面没有的模块。
  • 解决方法:我将我原来的spark-2.4.0-bin-hadoop2.7版本换成了spark-2.4.4-bin-hadoop2.7之后就可以正常使用了,python解释器用的是Anaconda3里面的python解释器。
  • 注意:我只是给大家提供个思路,配置pyspark网上的配置很多,基本都正确,实在没有的话可以私我,我有教程
  • 测试代码:
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("wordcount").master("local[2]").getOrCreate()
sc = spark.sparkContext

#案例1:
# ls = [1, 2, 3, 4, 5, 6, 7, 8, 9]
# rdd = sc.parallelize(ls)#parallelize 是转换算子
# print(rdd.collect())#collect是行动算子
#
# rdd1 =rdd.map(lambda x:x*2)# map是对每个数据都进行操作,都执行一个函数,x*2是自己定义的一个函数
# print(rdd1.collect())


#案例2:为方便操作集合或者列表,将列表转为RDD
list = ["Hadoop","Spark","Hive","Spark"]
rdd = sc.parallelize(list)
pairRDD = rdd.map(lambda word : (word,1))#(hadoop,1)  ((Hive,1) (spark,2)
pairRDD.foreach(print)#foreach;是行动算子

在这里插入图片描述 图一:缺少resource模块的结果
在这里插入图片描述
图二:正确运行的结果

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值