一个scala 操控 HDFS 文件目录的小例子:
包含了对文件路径的查看是否存在、删除、创建、重命名、移动。
仅作记录。
工具类:HDFSUtil
package Sparktest
import java.io.IOException
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, LocatedFileStatus, Path, RemoteIterator}
object HDFSUtil {
val conf: Configuration = new Configuration()
var fs: FileSystem = null
var files: RemoteIterator[LocatedFileStatus] = null
def getFiles(HDFSPath: String) = {
try {
fs = FileSystem.get( new URI( HDFSPath ), conf )
} catch {
case e: IOException => {
e.printStackTrace
}
}
files
}
de