window下hadoop实现文件追加，上传，下载



在eclipse下进行hadoop项目的创建

1，将我们集群上关于hadoop的所有目录下的文件进行复制，然后首先将hadoop-eclipse-kepler-plugin-2.2.0，hadoop-eclipse-plugin-2.4.0，这两个文件放在eclipse的dropins目录下。这样我们就可以在eclipse的

                   图一

如图一：我们就会看到mapreduce这个选项，然后再对他进行相应的配置，

如图二：

将图中的选项进行配置，此处应该注意，将你自己的电脑主机名改为root（window下），重启生效。

这个样子，我们的hadoop就已经可以在hadoop上运行了。

在这个例子中，我们先将hadoop中所有的文件中的jar包全部拷到我们在eclipse中所建立的webproject目录下。

首先我们来写一个文件的上传

  /**

      * 将文件从hdfs中下载到本地文件中

      *

      */

     public static void uploadhdfsFile2local(String srcPath,String desPath){

      Configuration config=new Configuration();

      config.addResource("core-site.xml");

      config.set("fs.default.name", "hdfs://192.168.10.222:9001");

      try {

FileSystem fs=FileSystem.get(config);

Path src=new Path(srcPath);

Path dst=new Path(desPath);

//实现从hdfs到local的下载

fs.copyToLocalFile(src, dst);

fs.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

    

     }

/**

      * 将文件从hdfs中下载到本地文件中

      *

      */

     public static void uploadhdfsFile2local(String srcPath,String desPath){

      Configuration config=new Configuration();

      config.addResource("core-site.xml");

      config.set("fs.default.name", "hdfs://192.168.10.222:9001");

      try {

FileSystem fs=FileSystem.get(config);

Path src=new Path(srcPath);

Path dst=new Path(desPath);

//实现从hdfs到local的下载

fs.copyToLocalFile(src, dst);

fs.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

    

     }

/**

      * 创建文件并追加内容

      * @param createFilePath

      * @param content

     * @throws IOException 

      */

     public static void createAddFile(String createFilePath,String content) throws IOException{

      Configuration config=new Configuration();

    

      config.set("fs.default.name", "hdfs://192.168.10.222:9000");

      FileSystem fs=FileSystem.get(config);

      //用到一个io类

      //创建文件并获取输出流

      FSDataOutputStream os=fs.create(new Path(createFilePath));

      os.write(content.getBytes("UTF-8"));

      os.close();

      fs.close();

      

     }

     /**

      * 删除文件

      * @param dstPath

      * @return

      * @throws IOException

      */

     public static boolean deleteHdfsFile(String dstPath) throws IOException{

      Configuration config=new Configuration();

    

      config.set("fs.default.name", "hdfs://192.168.10.222:9000");

      FileSystem fs=FileSystem.get(config);

      boolean flag=fs.delete(new Path(dstPath));

      fs.close();

      return flag;

     }

     /**

      * 读取文件

      * @param dstPath

      * @return

      * @throws IOException

      */

     public static byte[] readHdfsFile(String dstPath) throws IOException{

      Configuration config=new Configuration();

      config.set("fs.default.name", "hdfs://192.168.10.222:9000");

      FileSystem fs=FileSystem.get(config);

      Path path=new Path(dstPath);

      long strings = 0;

      byte[] buffer = null;

      //判断文件是否存在

      if(fs.exists(path)){

      FSDataInputStream is=fs.open(path);

      //获取文件信息

      FileStatus status=fs.getFileLinkStatus(path);

      //创建缓冲数组

      //先转为string，在转为int

      System.out.println("开始读取文件");

      strings=status.getLen();

      buffer=new byte[Integer.parseInt(String.valueOf(status.getLen()))];

      //开始读取,使用readFully

      is.readFully(0,buffer);

      is.close();

      fs.close();

      }

      //System.out.println("**读取");

      //System.out.println("读取出的"+buffer.toString());

      System.out.println(strings);

      return buffer;

     }

     /**

      * 创建目录

     * @throws IOException 

      */

     public static void mkdir(String dstPath) throws IOException{

      Configuration config=new Configuration();

      config.set("fs.default.name", "hdfs://192.168.10.222:9000");

      FileSystem fs=FileSystem.get(config);

      fs.mkdirs(new Path(dstPath));

      fs.close();

     }

     /**

      * 读取某个目录下所有文件

      * 

      */

     public static void listAllFile(String dstPath){

      Configuration config=new Configuration();

      config.set("fs.default.name", "hdfs://192.168.10.222:9000");

      try {

FileSystem fs=FileSystem.get(config);

//filestatus包含文件所有的信息，不仅仅时状态

FileStatus[] status=fs.listStatus(new Path(dstPath));

//遍历

for(int i=0;i<status.length;i++){

if (status[i].isFile()) {

System.out.println(status[i].getPath()+"是一个文件");

}if (status[i].isDirectory()) {

String dirPath=status[i].getPath().toString();

listAllFile(dirPath);

}

}

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

      

     }

     

     //删除hadoop-2.4.0目录下的所有文件

     public static boolean  deleteAllFile(){

return false;

      

     }

     public static void main(String[] args) throws IOException {

//mkdir("/testyf2");

     // deleteHdfsFile("/testyf2");

//listAllFile("/yangfei");

     // createAddFile("/testyangfei", "杨飞");

      //createAddFile("/yangfei/testyf3.txt", "15154192519841");

      //readHdfsFile("/testyangfei");

     // readHdfsFile("test2");

    // uploadLocalFile2Hdfs("/C:/Users/Administrator/Desktop/tools/hadoop-2.4.0", "/yangfei");

     uploadhdfsFile2local("/shengwei/shen.txt", "/D:");

}

}