HDFS的IO流操作与定位读取文件

最新推荐文章于 2022-12-01 23:37:55 发布

刘先生生

最新推荐文章于 2022-12-01 23:37:55 发布

阅读量384

点赞数

分类专栏： hadoop 文章标签： hdfs hadoop

本文链接：https://blog.csdn.net/weixin_45837693/article/details/109017079

版权

本文深入探讨了Hadoop HDFS的输入输出流操作，包括如何进行文件的读写，并详细阐述了HDFS的定位读取机制，帮助理解如何高效地访问大文件中的特定位置。

摘要由CSDN通过智能技术生成

   //把本地e盘上的123.txt文件上传到HDFS根目录上
    @Test
    public void putFileToHDFS() throws Exception{
   
        //1:获取对象
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
        //2：获取输入流
        FileInputStream fileInputStream = new FileInputStream(new File("d:/123.txt"));
        //3: 获取输出流
        FSDataOutputStream outputStream = fileSystem.create(new Path("/liuxuan.txt"));
        //4: 流的对拷
        IOUtils.copyBytes(fileInputStream,outputStream,new Configuration());
        //5:关闭流
        IOUtils.closeStream(fileInputStream)