HDFS的接口（命令行接口和Java接口）--笔记

HDFS 文件的系统访问的接口
1.Hadoop的shell命令脚本


hadoop fs -ls   列出某一个目录下的文件
hadoop fs -lsr 递归的方式列出所有文件


hadoop fs -mkdir 创建目录


hadoop fs -rm   删除文件或者目录
hadoop fs -rmr  删除目录及目录下的所有目录或者文件


hadoop fs -put src /  向hdfs上传文件
hadoop fs -copyFromLocal /src / 


hadoop fs -get /hdfs
hadoop fs -copyToLocal  从hdfs拷贝到本地文件系统


2.hdfs第二种访问接口 Java接口 JavaAPI


1) 通过URL的方式去访问
static{
URL.setFsUrlStreamHandler(new FSUrlStreamHandlerFactory());
}


 try{
  //使得URL具备访问HDFS的工厂能力
 
 //通过URL统一资源定位符，具体的定位到hdfs的某一个具体的资源文件上
  URL url = new URL("hdfs://master:9000/a.txt");
  //通过url的 openStream方法拿到目标hdfs上文件的输入流对象
  FSDataInputStream in = url.openStream();
  FileOutputStream foo = new FileOutputStream("/home/zkpk/a.txt");
  IOUtils.copyBytes(in, foo, 4096, false);
 }catch(Exception e){
 
 }finally{
IOUtils.closeStream(in);
 }


2) FileSystem 来操作hdfs(常用)




Object obj = FileSystem.get()
Object extends FileSystem{

}


Object obj = new Object();
FileSystem fs; 
fs = obj; //把子类对象看成父类对象，向上转型




 //获取hdfs的配置 configuration
 Configuration conf = new Configuration();
 FileSystem fs = FileSystem.get(conf);
           fs = FileSystem.get(URI.create(uri), conf);


  InputStream in = fs.openStream();


  IOUtils.copyBytes(in, System.out, 4096, false);


3) FileStatus (文件的元信息， 文件的名字，路径 is目录......)
  


  FileStatu[] list = fs.listStatus();


  Path[] paths = FileUtils.status2path(list)


  for(Path p : paths){
fs = FileSystem.get(RUI.create(p), conf);
fs.openStream();
  }


4)fs.delete
   fs.mkdir()