读书笔记2：Hadoop组件-（1）HDFS的文件操作

 

1， HDFS 文件操作

HDFS是一种文件系统，是专门为 MapReduce 这类框架下的大规模分布式数据处理而设计的。

文件命令的格式： hadoop fs -cmd <args>

URI:scheme://authority/path scheme类似于一个协议，可以是 file 或者 hdfs authority是 NameNode 的主机名 path是文件或者目录的路径 hdfs://localhost:9000/user/chuck/example.txt在本机的 9000 端口上以标准伪分布式模型运行 HDFS 可以使用cat 命令查看文件内容： Hadoop fs -cat hdfs://localhost:9000/user/chuck/example.t

·添加文件和目录

HDFS有一个默认的工作目录 user/$USER    (USER 是你登录的用户名 )

但是这个默认的工作目录需要我们手工建立

hadoop fs -mkdir /user/yourusername (hadoop的 mkdir 命令自动创建父目录 )

查看当前目录或当前目录下的文件：

hadoop fs -ls /        (会显示根目录下的 /user 的信息 )

查看当前目录或当前目录下的文件以及所有子目录、子文件：

hadoop fs -lsr/       (会显示所有的文件和子目录的信息 )

将本地文件example.txt 复制到 HDFS 文件系统中：

hadoop fs -put example.txt  . (注意：命令最后的 . 表示默认放到工作目录 )

hadoop fs -put example.txt /user/yourusername    (与上一条命令等价 )

·检索文件

将HDFS 文件系统中的文件复制到本地的当前工作目录下：

hadoop fs -get example.txt  . 

管道的使用：

hadoop fs -cat example.txt | head

查看文件的最后一千个字节：

hadoop fs -tail example.txt

·删除文件

hadoop fs -rm example.txt      (rm命令还可以用于删除空目录 )

·查阅帮助

获取hadoop 版本中的命令列表

hadoop fs

查看命令的详细信息：

hadoop fs -help ls

2，编程读写 HDFS

例如我们要使用hadoop 来操作 Apache 的日志文件，由于 hadoop 处理单个大文件相对于处理多个小文件的效率要高，所以我们考虑在将文件向 HDFS 复制的过程中将其合并，但是 hadoop 的命令中只有 getmerge （把一组 HDFS 文件复制到本地计算机之前进行合并）    这正好与我们要的反过来，所以我们还是得使用 Hadoop API 自己编写了：

代码剖析：

Configuration conf =  new  Configuration(); //Configuration 用于保留键/值配置参数的特殊类 FileSystem hdfs = FileSystem.get(conf); FileSystem local = FileSystem.getLocal(conf); //专用于本地的文件系统的FileSystem对象 Path inputDir =  new  Path(args[]); //Path用于编制文件和目录名 FileStatus[] inputFiles = local.listStatus(inputDir); //FileStatus存储文件和目录的元数据,listStatus(dir)获取dir目录下的文件列表 FSDataInputStream in = loacl.open(inputFiles[i].getPath()); //FSDataInputStream用于访问Path，读取文件 byte  buffer[] =  new   byte [256]; i nt  bytesRead = 0; while ((bytesRead = in.read(buffer))>0) { } in.close(); /*将数据写入HDFS Path hdfsFile = new Path(args[]); FSDataOutputStream out = hdfs.create(hdfsFile);//FSDataOutputStream用于将数据写入HDFS out.write(buffer,0,bytesRead); out.close(); */

程序PutMerge.java

public   class  PutMerge { public   static   void  main(String args[]) { String inputString =  "" ; //输入目录 String  outputString  =  "" ; //输出目录 Configuration conf =  new  Configuration(); FileSystem hdfs = FileSystem.get(conf); FileSystem local = FileSystem.getLocal(conf); //设定输入目录和输出目录 Path inputDir =  new  Path(inputString); Path hdfsFile =  new  Path( outputString ) try { FileStatus[] inputFiles = local.listStatus(inputDir); //得到本地文件列表 FSDataOutputStream out = hdfs.create(hdfsFile); //生成HDFS输出流 for ( int  i = 0;i<inputFiles.length;i++) { System.out.println(inputFiles[i].getPath().getName()); FSDataInputStream in = loacl.open(inputFiles[i].getPath()); //打开本地输入流 byte  buffer[] =  new   byte [256]; int  bytesRead = 0; while ((bytesRead = in.read(buffer))>0) { out.write(buffer,0,bytesRead); } in.close(); } out.close(); } catch (Exception e) { e.printStackTrace(); } } }