Hadoop系列（三）JavaAPI常用操作HDFS

最新推荐文章于 2021-01-11 23:31:50 发布

九八年的尾巴

最新推荐文章于 2021-01-11 23:31:50 发布

阅读量190

点赞数

分类专栏： Hadoop 文章标签： java 大数据 hadoop

本文链接：https://blog.csdn.net/q736317048/article/details/107319565

版权

Hadoop 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用 Java API 执行常见操作，如读取和写入Hadoop分布式文件系统（HDFS）上的文件。对于大数据处理，熟练掌握Java API与HDFS的交互至关重要。

摘要由CSDN通过智能技术生成

本地javaAPI操作打开HDFS文件

@Test
    public void makbir(){
        Configuration configuration = new Configuration();
        //configuration.set("dfs.replication","1");
        try{
            FileSystem fs = FileSystem.get(new URI("hdfs://192.168.0.105:9000"),
                    configuration,"root");
            //打开HDFS文件
            FSDataInputStream in = fs.open(new Path("/a1"));
            IOUtils.copyBytes(in,System.out,1024);
            fs.close();
        }catch (IOException e){
            e.printStackTrace();
        }catch (InterruptedException e){
            e.printStackTrace();
        }catch (URISyntaxException e){
            e.printStackTrace();
        }
    }
    
        /**
     * 测试文件名更改
     * @throws Exception
     */
    @Test
    public void rename() throws Exception {
        Path oldPath = new Path("/b.txt");
        Path newPath = new Path("/c.txt");
        boolean result = fileSystem.rename(oldPath, newPath);
        System.out.println(result);

    }
    
        /**
     * 查看目标文件夹下的所有文件
     */
    @Test
    public void listFiles() throws Exception {
        FileStatus[] statuses = fileSystem.listStatus(new Path("/"));

        for(FileStatus file : statuses) {
            String isDir = file.isDirectory() ? "文件夹" : "文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long length = file.getLen();
            String path = file.getPath().toString();


            System.out.println(isDir + "\t" + permission
                    + "\t" + replication + "\t" + length
                    + "\t" + path
            );
        }

    }
    
        /**
     * 递归查看目标文件夹下的所有文件
     */
    @Test
    public void listFilesRecursive() throws Exception {

        RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/hdfsapi/test"), true);

        while (files.hasNext()) {
            LocatedFileStatus file = files.next();
            String isDir = file.isDirectory() ? "文件夹" : "文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long length = file.getLen();
            String path = file.getPath().toString();


            System.out.println(isDir + "\t" + permission
                    + "\t" + replication + "\t" + length
                    + "\t" + path
            );
        }
    }
    
        /**
     * 查看文件块信息
     */
    @Test
    public void getFileBlockLocations() throws Exception {

        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/test/jdk.tgz"));
        BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus,0,fileStatus.getLen());

        for(BlockLocation block : blocks) {

            for(String name: block.getNames()) {
                System.out.println(name +" : " + block.getOffset() + " : " + block.getLength() + " : " + block.getHosts());
            }
        }
    }

    /**
     * 删除文件
     */
    @Test
    public void delete() throws Exception {
        boolean result = fileSystem.delete(new Path("/hdfsapi/test/jdk.tgz"), true);
        System.out.println(result);
    }