Spark如何拉取Linux的文件

一般情况下，写完代码，只需要用的时候正常传参就可以了，不过要注意的是你的文件在哪里，你就在那里提交任务就可以

val lineRDD: RDD[String] = spark.sparkContext.textFile(dir)//dir的值通过main方法参数进入

如果有意外，可以尝试在路径的最前面用file:///

需要file:///的情况，常发生在你配置了HADOOP_HOME，且Spark配置了yarn关联，所以这个时候你如果单纯的使用路径，会自动变成hdfs上的地址，很多人就是因为这个导致，本地有文件，但是报错没有找到文件，然后一脸闷b

不过file:///及时加也要注意，是三个斜杠，别少了，而且看见这个格式看着是不是很验收，大家可以自己试一试，如下路径表达式

val lineRDD: RDD[String] = spark.sparkContext.textFile("file://ip/文件路径")

结果是什么，大家自己去试，这样对技术提升更有帮助，不然什么都告诉你了，就没意思了，/手动坏笑