spark 和hadoop的 hdfs 整合(spark sql 找不到文件)
初学spark 的时候在 spark shell窗口类里面操作以下代码对hdfs 的文件进行操作的时候会出现找不到文件的错误val lineRDD= sc.textFile("/person.txt").map(_.split(" "))【此处不配图了】原因是spark 没有配置hadoop 相关的参数。在spark-env.sh 中添加HADOOP_CONF_DIR配置,指明了hadoop的配置...
原创
2018-05-15 22:18:13 ·
1989 阅读 ·
0 评论