在python代码中指定环境变量,是指定的pyspark中的python环境,这样和我们设定的环境变量不一样
hadoop fs -get -f /user/spark/pyspark/spark-defaultsnew.conf /tmp这里面的spark-defaultsnew.conf已经指定了环境变量
os.environ['PYSPARK_PYTHON'] = sys.executable
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable