pyspark运行wordcount程序报错:TypeError: ‘JavaPackage‘ object is not callable

运行环境:

- spark3.2.4

- hadoop3.2.3

- jdk1.8

-python3.10

-py库 pyspark3.4.1

-vscode 

源代码程序:

# coding:utf8
from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    conf = SparkConf().setMaster("local[*]").setAppName("WordCountHelloWorld")
    # 构建SparkContext对象
    sc = SparkContext(conf=conf)

    # 需求:wordcount单词计数
    # 读取文件
    file_rdd = sc.textFile("hdfs://hadoop102:8020/input/hello.txt")

    # 对单词进行切割
    words_rdd = file_rdd.flatMap(lambda line: line.split(" "))

    # 将单词转换为元组对象, key是单词, value是数字1
    words_with_one_rdd = words_rdd.map(lambda x : (x, 1))

    # 将元组的value 按照 key 分组, 对所有的value执行聚合操作(相加)
    result_rdd = words_with_one_rdd.reduceByKey(lambda a, b: a + b)

    # 通过collect方法收集RDD数据
    print(result_rdd.collect())

报错:

第20行 

TypeError: 'JavaPackage' object is not callable

解决方案:

由于当前pyspark库最新版本3.4.1(2023/9/27已更新至3.5.0)不兼容

对pyspark进行降级即可

pip install pyspark==3.2.0

成功运行: