from py4j.protocol import Py4JError ModuleNotFoundError: No module named 'py4j'

报错了，开始还想不明白。

后来发现错在环境变量配置时

我开始是这样写的

export JAVA_HOME=/usr/lib/jvm/default-java
export HADOOP_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

 

但实际上我/python/lib/py4j的版本是：

所以会报错找不到

修改成正确版本就可以了