在时候用local 模式通过spark-shell命令提交spark的程序jar,执行报错:
- 部分代码
empDf.coalesce(1).write.format("json").mode(SaveMode.Overwrite)
.partitionBy("deptno").save("hdfs://hadoop001:9000/user/hadoop/emp-spark-test/emp-jsonTable3")
- 报错描述
hdfs java.io.IOException: Mkdirs failed to create
- 解决经过
把save(path:String)方法里的path路径改为:file:///,file://不行
改为:hdfs://ip:50070,hdfs://ip:8020等还是不行
最后改为hdfs://ip:9000才可以
后来发现这个配置是在$HADOOP_HOME/etc/hadoop 下的core-site.xml里配置的
好坑啊!!!