hadoop java操作hdfs

hfds 是一种文件系统，用于存储hadoop将要处理的数据。适用于大规模分布式数据处理，是一个可扩展行的文件分布式系统；

优点

1、如果出现节点宕机，hdfs,可以持续监视，错误检查，容错处理，文档恢复

2、存储文件巨大，hdfs把文件按块处理，规定每块的大小（默认64M）

hdfs常用 命令

命令格式为： hadoop fs -cmd <args>

1、添加目录

    hadoop fs -mkdir args

2、添加文件

    hadoop fs -put localfile hdfsfileurl

    备注：put命令，在hdfs文件系统中放入文件，本地文件消失

3、取出文件

    hadoop fs -get locaUrl hdfsurl

    备注：get,把hdfs中的文件取回本地。但是hdfs中的文件还存在，相当于copy

4、查看文件

    hadoop fs -cat url

    备注：  hadoop fs -cat url|more可以分页查看

5、删除文件

    hadoop fs -rm url

6、日志方式查看

    hadoop fs -tail url

java 程序控制hdfs

在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中。包括常见的open、read、write、close。Hadoop文件的API起点是FileSystem类，这是一个与文件系统交互的抽象类，我们通过调用factory的方法FileSystem.get(Configuration conf)来取得所需的FileSystem实例，如下我们可以获得与HDFS接口的FileSystem对象：

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);//获得HDFS的FileSystem对象

如果我们要实现HDFS与本地文件系统的交互，我们还需要获取本地文件系统的FileSystem对象

FileSystem local = FileSystem.getLocal(conf);//获得本地文件系统的FileSystem对象

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

/**   *   */ package org.jrs.wlh;   import java.io.IOException;   import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;   /**   * @PutMeger.java   * created at 2013-8-7 上午12:04:08 by jrs521wlh   * java操作hdfs 往 hdfs中上传数据   * @author jrs521wlh jiangrushe2010@126.com   * @version $Revision$</br>   * update: $Date$   */ public class PutMeger {            public static void main(String[] args) throws IOException {                    String[] str = new String[]{ "E:\\hadoop\\UploadFileClient.java" , "hdfs://master:9000/user/hadoop/inccnt.java" };          Configuration conf = new Configuration();          FileSystem fileS= FileSystem.get(conf);          FileSystem localFile = FileSystem.getLocal(conf);  //得到一个本地的FileSystem对象                    Path input = new Path(str[ 0 ]); //设定文件输入保存路径          Path out = new Path(str[ 1 ]);  //文件到hdfs输出路径                    try {              FileStatus[] inputFile = localFile.listStatus(input);  //listStatus得到输入文件路径的文件列表              FSDataOutputStream outStream = fileS.create(out);      //创建输出流                 for ( int i = 0 ; i < inputFile.length; i++) {                  System.out.println(inputFile[i].getPath().getName());                  FSDataInputStream in = localFile.open(inputFile[i].getPath());                                    byte buffer[] = new byte [ 1024 ];                  int bytesRead = 0 ;                  while ((bytesRead = in.read(buffer))> 0 ){  //按照字节读取数据                      System.out.println(buffer);                      outStream.write(buffer, 0 ,bytesRead);                  }                                    in.close();              }                        } catch (Exception e){              e.printStackTrace();          }      }   }