Pyspark环境问题

pyspark_python

常见的环境变量设置有若干

linux

window

python

分别是

export PYSPARK_PYTHON=/export/server/anaconda3/envs/pyspark/bin/python




配置到/root/.bashrc中

import os
os.environ['PYSPARK_PYTHON'] = 'xxx'


配置到py代码中

配置在代码中的优先级最高

Linux服务器集群上需要配置的环境变量

1. PYSPARK_PYTHON

用于设置PySpark执行任务时使用的Python解释器的路径。通过设置PYSPARK_PYTHON，可以使用不同版本的Python或特定的Python环境来运行PySpark任务。

        2.JAVA_HOME

用于指定Java安装路径。Spark是基于Java开发的，需要安装Java环境。设置JAVA_HOME环境变量后，Spark会使用该路径下的Java虚拟机来执行任务。

        

        3.SPARK_HOME

指定Spark安装路径。SPARK_HOME环境变量告诉PySpark在哪里找到Spark安装目录。PySpark会使用SPARK_HOME中指定的路径下的Spark库和配置文件。

        

        4.ANACONDA_HOME

指定Anaconda安装路径。Anaconda是一个流行的Python发行版，包括许多常用的科学计算库。设置ANACONDA_HOME环境变量后，PySpark可以使用指定路径下的Anaconda环境，以便在Spark任务中使用Anaconda提供的库。

        

        5.HADOOP_HOME

指定Hadoop安装路径。Hadoop是一个开源的分布式计算框架，Spark可以与Hadoop集成。设置HADOOP_HOME环境变量后，Spark可以使用该路径下的Hadoop库和配置文件，实现与Hadoop的交互。

PyCharm中遇到 远程Python执行 ,不会自动上传文件