在IDAL下面读取本地文件,可以使用绝对路径也可以使用相对路径
一,直接路径的表达:
val path2 ="E:\\data\\TEST1.txt"
val data = sc.textFile(path2)
data.foreach(println)
直接将文件的绝对路径放在某个变量中,然后再使用textFile()读取里面的内容
但是一般开发都采用这种方法吧
二,相对路径
在使用maven创建的项目中,在编译时会在项目下生成target文件夹,其下面的class文件夹里面生成src->main中的数据如resources中的文件或者是scala文件夹下面的.scala文件的“倒影”。
所以寻找文件的相对位置时,要先找到target这个目录下的地址,然后再找具体的文件。
下面这三条语句都能找到这个地址:
val resource1: URL = Test.getClass.getClassLoader.getResource("")
val resource2: URL = MyRouteMain.getClass.getResource("")
val resource3: URL = MyRouteMain.getClass.getResource("/")
println("resource1 => " + resource1)
println("resource2 => " + resource2)
println("resource3 => " + resource3)
打印结果如下:
resource1 => file:/E:/mycode/Spark/mylearn/target/classes/
resource2 => file:/E:/mycode/Spark/mylearn/target/classes/org/
resource3 => file:/E:/mycode/Spark/mylearn/target/classes/
可见第一、三条语句寻找的是文件class的地址,第二条语句具体的class所在的文件夹地址。然后通过:
val path3 = resource1+"data/hello.txt"
val data = sc.textFile(path3)
data.foreach(println)
来输出文件中的内容。