pyspark使用

设置pyspark环境变量与你当前集群的环境一致，spark3的版本支持的python3

export PYSPARK_PYTHON=/usr/bin/python3.6
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3.6

进入spark3的bin目录下

./pyspark

测试代码

from pyspark.sql import SparkSession

# 创建一个 SparkSession
spark = SparkSession.builder.appName("PySparkTest").getOrCreate()

# 生成测试数据
data = [("Alice", 25), ("Bob", 30), ("Catherine", 35)]
df = spark.createDataFrame(data, ["name", "age"])

# 显示 DataFrame 的内容
df.show()

# 对某个字段进行过滤操作
filtered_df = df.filter(df.age > 30)
filtered_df.show()

# 停止 SparkSession
spark.stop()

返回结果

你可以使用以下命令将spark python目录添加到sys.path中，然后在a.py文件中使用import语句导入需要的模块：

```shell
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
python a.py
```

这里假设SPARK_HOME是你的Spark安装目录。

其中，`$SPARK_HOME/python` 目录包含了所有的Python模块和包，而 `$SPARK_HOME/python/lib/py4j-0.10.9-src.zip` 是Py4j的源代码包。

当你执行 `python a.py` 命令时，a.py文件应该能够导入它所需要的模块，因为Spark Python目录已经被添加到了sys.path中。