和我一起学Hadoop(四):java客户端操作HDFS

主要操作包含

  • 客户端连接
  • 目录
    • 读取
    • 创建
  • 文件的创建
    • 删除
    • 上传
    • 下载
    • 部分下载、上传

jar包引入:
由于只用到了hdfs,所以暂时不需要用到mapreduce和yarn

  • \share\hadoop\common
  • \share\hadoop\common\lib
  • \share\hadoop\hdfs
  • \share\hadoop\hdfs\lib
  • \share\hadoop\tools\lib
    以上目录的所有jar包

值得一提的是:如果是windows开发环境注意,IO操作时避免本地库的使用

public class FileOperate {
    public static DistributedFileSystem dfs=null;
    public static String nameNodeUri="hdfs://hadoop01:9000";
    @Before
    public void initFileSystem() throws Exception{
        System.out.println("初始化hadoop客户端");
        //设置hadoop的登录用户名
        System.setProperty("HADOOP_USER_NAME", "root");
        dfs=new DistributedFileSystem();
        dfs.initialize(new URI(nameNodeUri), new Configuration());
        System.out.println("客户端连接成功");
        Path workingDirectory = dfs.getWorkingDirectory();
        System.out.println("工作目录:"+workingDirectory);
    }
    /**
     * 创建文件夹
     * @throws Exception 
     */
    @Test
    public void testMkDir() throws Exception{
        boolean res = dfs.mkdirs(new Path("/test/aaa/bbb"));
        System.out.println("目录创建结果:"+(res?"创建成功":"创建失败"));
    }
    /**
     * 删除目录/文件
     * @throws Exception
     */
    @Test
    public void testDeleteDir() throws Exception{
        dfs.delete(new Path("/test/aaa/bbb"), false);
    }

    /**
     * 获取指定目录下所有文件(忽略目录)
     * @throws Exception 
     * @throws IllegalArgumentException 
     * @throws FileNotFoundException 
     */
    @Test
    public void testFileList() throws Exception{
        RemoteIterator<LocatedFileStatus> listFiles = dfs.listFiles(new Path("/"), true);
        SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = (LocatedFileStatus) listFiles.next();
            //权限
            FsPermission permission = fileStatus.getPermission();
            //拥有者
            String owner = fileStatus.getOwner();
            //组
            String group = fileStatus.getGroup();
            //文件大小byte
            long len = fileStatus.getLen();
            long modificationTime = fileStatus.getModificationTime();
            Path path = fileStatus.getPath();
            System.out.println("-------------------------------");
            System.out.println("permission:"+permission);
            System.out.println("owner:"+owner);
            System.out.println("group:"+group);
            System.out.println("len:"+len);
            System.out.println("modificationTime:"+sdf.format(new Date(modificationTime)));
            System.out.println("path:"+path);
        }
    }
    /**
     * 【完整】文件上传
     * 注意:文件上传在Window开发环境下,使用apache-common提供的<code>org.apache.commons.io.IOUtils.copy</code>可能存在问题
     */
    @Test
    public void testUploadFullFile() throws Exception{
        FSDataOutputStream out = dfs.create(new Path("/test/aaa/uploadFile.txt"), true);
//      InputStream in = FileOperate.class.getResourceAsStream("uploadFile.txt");
        FileInputStream in = new FileInputStream(FileOperate.class.getResource("uploadFile.txt").getFile());
        org.apache.commons.io.IOUtils.copy(in, out);
        System.out.println("上传完毕");
    }

    /**
     * 【完整】文件上传
     */
    @Test
    public void testUploadFullFile2() throws Exception{
        dfs.copyFromLocalFile(new Path(FileOperate.class.getResource("uploadFile.txt").getFile()), new Path("/test/aaa/uploadFullFile.txt"));
    }

    /**
     * 【分段|部分】文件上传
     * 注意:文件上传在Window开发环境下,使用apache-common提供的<code>org.apache.commons.io.IOUtils.copy</code>可能存在问题
     */
    @Test
    public void testUploadFile2() throws Exception{
        FSDataOutputStream out = dfs.create(new Path("/test/aaa/uploadFile2.txt"), true);
        FileInputStream in = new FileInputStream(FileOperate.class.getResource("uploadFile.txt").getFile());
        org.apache.commons.io.IOUtils.copyLarge(in, out, 6, 12);
        System.out.println("上传完毕");
    }
    /**
     * 【完整】下载文件
     * 注意:windows开发平台下,使用如下API
     */
    @Test
    public void testDownloadFile() throws Exception{
        //使用Java API进行I/O,设置useRawLocalFileSystem=true
        dfs.copyToLocalFile(false,new Path("/test/aaa/uploadFullFile.txt"), new Path("E:/Workspaces/MyEclipse2014_BigData/hadoop-demo/src/com/xbz/bigdata/hadoop/demo"),true);
        System.out.println("下载完成");
    }

    /**
     * 【部分】下载文件
     */
    @Test
    public void testDownloadFile2() throws Exception{
        //使用Java API进行I/O,设置useRawLocalFileSystem=true
        FSDataInputStream src = dfs.open(new Path("/test/aaa/uploadFullFile.txt"));
        FileOutputStream des = new FileOutputStream(new File("E:/Workspaces/MyEclipse2014_BigData/hadoop-demo/src/com/xbz/bigdata/hadoop/demo","download_uploadFullFile.txt"));
        src.seek(6);
        org.apache.commons.io.IOUtils.copy(src, des);
        System.out.println("下载完成");
    }

}
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值