HDSF_api

    @Test//1:本地文件上传到hdfs
    public void moveFromLocal() throws URISyntaxException, IOException {
        //1:获取文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
        //2:执行上传操作copyFromLocalFile
        fileSystem.copyFromLocalFile(new Path("D:\\123.txt"),new Path("/123.txt"));
        //关闭资源
        fileSystem.close();
    }
    @Test//2:将hdfs的文件下载到本地
    public void downToLocal() throws Exception{
        //获取hdfs文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
        fileSystem.copyToLocalFile(new Path("/a.txt"),new Path("D:/"));
        fileSystem.close();
    }
    @Test//3:文件删除
    public void testDelets() throws Exception{
        //1:获取hdfs文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration(),"root");
        //2:调用api
        fileSystem.delete(new Path("/liuxuan"),true);
        //关闭filesysrem
        fileSystem.close();
    }
    @Test//文件更名
    public void testRename() throws Exception{
        //1:获取hdfs文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration(),"root");
        //2:执行更名操作
        fileSystem.rename(new Path("/a.txt"),new Path("/gaibian.txt"));
        //关闭filesystem
        fileSystem.close();
    }
    @Test//遍历整个根目录
    public void testlistfile() throws Exception{
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
        // 查看文件详情
        RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fileSystem.listFiles(new Path("/"), true);
        //遍历迭代器
        while(locatedFileStatusRemoteIterator.hasNext()){
            LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
            System.out.println(next.getPath().getName());//输出文件名称
            System.out.println(next.getPermission());//文件名称
            System.out.println(next.getLen());//文件长度
            BlockLocation[] blockLocations = next.getBlockLocations();
            for(BlockLocation blockLocation:blockLocations){
                String[] hosts = blockLocation.getHosts();
                for(String host:hosts)
                {
                    System.out.println(host);
                }
            }
            System.out.println("---------------------");
        }
        fileSystem.close();
    }
    @Test//判断是文件还是文件夹
    public void testliststatus() throws Exception{
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
        //遍历根目录判断是否是文件
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
        for(FileStatus fileStatus:fileStatuses){
            if (fileStatus.isFile())
                System.out.println(fileStatus.getPath().getName());
            else
                System.out.println(fileStatus.getPath().getName());
        }
        //关闭资源
        fileSystem.close();
    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值