问题
用pyspark写了程序,但是在跑的过程中报 pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: Wrong FS: hdfs://
现有代码的配置信息
spark = SparkSession.builder.appName(spark_application_name). \
config('spark.port.maxRetries', 500). \
config('spark.driver.maxResultSize', '64g'). \
config('hive.exec.dynamici.partition', True). \
config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
enableHiveSupport().getOrCreate()
是因为在执行过程中找不到hdfs的服务,所以需要在config中添加fs.defaultFS的信息
修改后代码
spark = SparkSession.builder.appName(spark_application_name). \
config('spark.port.maxRetries', 500). \
config('spark.driver.maxResultSize', '64g'). \
config('hive.exec.dynamici.partition', True). \
config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
config('fs.defaultFS', 'hdfs://namenode_hostname'). \
enableHiveSupport().getOrCreate()