1、数据来源于HDFS,处理完成后同样写回HDFS的时候,遇到了HDFS的权限问题,提交程序的用户为root ,而root对HDFS没有写权限,这时可以通过伪造程序的使用者的方法解决:
val conf = new SparkConf().setAppName("TestLogic")
.set("fs.default.name","hdfs://udh-cluster-4:8020")
.setMaster("spark://udh-cluster-4:7077")
.set("HADOOP_USER_NAME", "hdfs")
2、使用Standalone模式提交集群的时候报错All masters are unresponsive! Giving up 时,检查程序中conf指定的master是否
跟集群上的master的地址是相同的
3、运行时出现FileSystemClose的情况时,需要在conf中指定conf..set("fs.default.name","hdfs://udh-cluster-4:8020")
并且最后需要执行SparkContext对象的Stop()方法.