通过Hadoop提供的FileSystem这个API来操作hdfs

    刚刚学习了通过Hadoop提供的FileSystem这个API来操作hdfs。主要的操作有在hdfs上创建与删除文件夹、上传下载文件、浏览hdfs下某目录的文件。
    1.创建与删除文件夹

点击(此处)折叠或打开

1. package com.chi.hdfs;
   
2. 
   
3. import java.net.URI;
   
4. 
   
5. import org.apache.hadoop.conf.Configuration;
   
6. import org.apache.hadoop.fs.FileSystem;
   
7. import org.apache.hadoop.fs.Path;
   
8. 
   
9. public class TestOne {
   
10.     static final String PATH = "hdfs://192.168.15.100:9000/";// hdfs地址
    
11.     static final String DIR = "hdfs://192.168.15.100:9000/One";// 所要创建的文件位置
    
12. 
    
13.     public static void main(String[] args) throws Exception {
    
14.         FileSystem fileSystem = FileSystem.get(new URI(PATH),
    
15.                 new Configuration());
    
16. 
    
17.         fileSystem.mkdirs(new Path(DIR));// 创建文件
    
18.         // fileSystem.delete(new Path(DIR), false);//删除文件或目录
    
19. 
    
20.     }
    
21. 
    
22. }

删除hdfs下的目录时，若某目录不为空，则第二个参数必须为true,否则报错；当目录为空或删除文件时，第二个参数为false或true都可以。
在做这个测试的时候我遇到了个问题，并没有解决：就是用delete方法删除hdfs根目录下的所有文件夹和文件并没有实现（关键代码： fileSystem.delete(new Path("hdfs://192.168.15.100:9000/*"), true);）,希望路过的大神能帮小弟解惑答疑，谢谢！

    2.上传和下载文件

点击(此处)折叠或打开

1. package com.chi.hdfs;
   
2. 
   
3. import java.io.FileInputStream;
   
4. import java.io.FileOutputStream;
   
5. import java.net.URI;
   
6. 
   
7. import org.apache.hadoop.conf.Configuration;
   
8. import org.apache.hadoop.fs.FSDataInputStream;
   
9. import org.apache.hadoop.fs.FSDataOutputStream;
   
10. import org.apache.hadoop.fs.FileSystem;
    
11. import org.apache.hadoop.fs.Path;
    
12. import org.apache.hadoop.io.IOUtils;
    
13. 
    
14. public class TestTwo {
    
15.     static final String PATH = "hdfs://192.168.15.100:9000/";// hdfs地址
    
16.     static final String DIR = "hdfs://192.168.15.100:9000/One";// 所要创建的文件位置
    
17.     static final String FILE = "/One/xixi";
    
18. 
    
19.     public static void main(String[] args) throws Exception {
    
20.         FileSystem fileSystem = FileSystem.get(new URI(PATH),
    
21.                 new Configuration());
    
22.         // 上传文件
    
23.         FSDataOutputStream out = fileSystem.create(new Path(FILE));
    
24.         FileInputStream in = new FileInputStream("D:/Hadoop/test/哈哈.txt");
    
25.         IOUtils.copyBytes(in, out, 1024, true);
    
26. 
    
27.         // 下载文件
    
28.         FSDataInputStream inGet = fileSystem.open(new Path(FILE));
    
29.         FileOutputStream outGet = new FileOutputStream(
    
30.                 "D:/Hadoop/test/heihei.txt");
    
31.         IOUtils.copyBytes(inGet, outGet, 1024, true);
    
32. 
    
33.     }
    
34. 
    
35. }

此处需要注意的是：在下载文件时，若本地文件存在，执行下载程序后本地文件内的内容会被完全覆盖。若本地文件不存在，则新建文件。

    3. 浏览hdfs下某目录的文件

点击(此处)折叠或打开

1. package com.chi.hdfs;
   
2. 
   
3. import java.net.URI;
   
4. 
   
5. import org.apache.hadoop.conf.Configuration;
   
6. import org.apache.hadoop.fs.FileStatus;
   
7. import org.apache.hadoop.fs.FileSystem;
   
8. import org.apache.hadoop.fs.Path;
   
9. 
   
10. public class TestThree {
    
11.     static final String PATH = "hdfs://192.168.15.100:9000/";// hdfs地址
    
12.     static final String DIR = "hdfs://192.168.15.100:9000/One";// 所要创建的文件位置
    
13. 
    
14.     public static void main(String[] args) throws Exception {
    
15.         FileSystem fileSystem = FileSystem.get(new URI(PATH),
    
16.                 new Configuration());
    
17.         FileStatus[] listStatus = fileSystem.listStatus(new Path(DIR));// 得到文件或文件夹的数组
    
18.         for (FileStatus fileStatus : listStatus) { // 遍历数组
    
19.             String isDir = fileStatus.isDirectory() ? "文件夹" : "文件";
    
20.             long len = fileStatus.getLen();
    
21.             String path = fileStatus.getPath().toString();
    
22.             String permission = fileStatus.getPermission().toString();
    
23.             short replication = fileStatus.getReplication();
    
24.             System.out.println(isDir + "\t" + len + "\t" + path + "\t"
    
25.                     + permission + "\t" + replication);
    
26.         }
    
27. 
    
28.     }
    
29. }

在遍历某目录下的文件时并不能递归遍历。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29876573/viewspace-1813498/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29876573/viewspace-1813498/