一、实现功能
hdfs相关java或者scala的api验证需要idea搭建环境,比较复杂。如果,有spark环境,那么可以通过spark-shell方法实现hdfs相关api验证。
二、实现方法
1.先通过spark-shell进入shell
spark-shell
2.然后导入对应包,后续即可通过对应api实现验证
(1)修改名字
scala> import org.apache.hadoop.conf.Configuration
scala> import org.apache.hadoop.fs.{FileSystem, Path}
scala> val hdfs: FileSystem = FileSystem.get(new Configuration)
hdfs: org.apache.hadoop.fs.FileSystem = DFS[DFSClient[clientName=DFSClient_NONMAPREDUCE_1614584632_1, ugi=mip (auth:SIMPLE)]]
scala> hdfs.rename(new Path("/data/test.txt/part-0000"),new Path("/data/test1.txt"))
res33: Boolean = true
(2)创建目录
scala> hdfs.mkdirs(new Path("/data/test1"))
(3)删除HDFS上的文件
scala> hdfs.delete(new Path("/data/test1"),true)
(4)创建目录
scala> hdfs.exists(new Path("/data/test1"))