java操作hdfs

最新推荐文章于 2024-03-13 22:34:11 发布
最新推荐文章于 2024-03-13 22:34:11 发布
阅读量402 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiaojialin/article/details/53942005
版权

1、创建目录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  MakeDir {
     public  static  void  main(String[] args)  throws  IOException {
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         Path path =  new  Path( "/user/hadoop/hdfs/xxxx" );
         fs.create(path);
         fs.close();
     }
}

2、删除目录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  DeleteDir {
     public  static  void  main(String[] args)  throws  IOException {
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         
         Path path =  new  Path( "/user/hadoop/hdfs/xxxx" );
         fs.delete(path);
         fs.close();
     }
}

3、写文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FSDataOutputStream;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  WriteFile {
     public  static  void  main(String[] args)  throws  IOException {
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         Path path =  new  Path( "/user/hadoop/hdfs/xxxx.txt" );
         FSDataOutputStream out = fs.create(path);
         out.writeUTF( "da jia hao,cai shi zhen de hao!" );
         fs.close();
     }
}
4、读文件
 
 
try  {
        
        FileSystem  fs  = FileSystem.get(  new  URI( "hdfs://localhost:9000"  ),  conf );
        Path  file  =  new  Path( "/user/hadoop/output/part-r-00000" );
        FSDataInputStream  getIt  =  fs  .open( file );
        BufferedReader  d  =  new  BufferedReader( new  InputStreamReader(  getIt ));
        String  s  =  ""  ;
         while  (( s  =  d .readLine()) !=  null ) {
            System.  out .println( s  );
        }
         d .close();
         fs .close();
    }  catch  (Exception  e ) {
         e .printStackTrace();
    }
  

5、上传本地文件到HDFS

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  CopyFromLocalFile {
 
     public  static  void  main(String[] args)  throws  IOException {
         
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         Path src =  new  Path( "/home/hadoop/xxxx.txt" );
         Path dst =  new  Path( "/user/hadoop/hdfs/" );
         fs.copyFromLocalFile(src, dst);
         fs.close();
     }
}

6、删除文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  DeleteFile {
 
     public  static  void  main(String[] args)  throws  IOException {
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         
         Path path =  new  Path( "/user/hadoop/hdfs/xxxx.txt" );
         fs.delete(path);
         fs.close();
     }
}

7、获取给定目录下的所有子目录以及子文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.FileStatus;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
 
public  class  GetAllChildFile {
     static  Configuration conf =  new  Configuration();
     
     
     public  static  void  main(String[] args) throws  IOException {
         FileSystem fs = FileSystem.get(conf);
         Path path =  new  Path( "/user/hadoop" );
         getFile(path,fs);
         //fs.close();
     }
     
     public  static  void  getFile(Path path,FileSystem fs)  throws  IOException {
         
         FileStatus[] fileStatus = fs.listStatus(path);
         for ( int  i= 0 ;i<fileStatus.length;i++){
             if (fileStatus[i].isDir()){
                 Path p =  new  Path(fileStatus[i].getPath().toString());
                 getFile(p,fs);
             } else {
                 System.out.println(fileStatus[i].getPath().toString());
             }
         }
     }
 
}

8、查找某个文件在HDFS集群的位置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.BlockLocation;
import  org.apache.hadoop.fs.FileStatus;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
import  org.apache.hadoop.hdfs.DistributedFileSystem;
import  org.apache.hadoop.hdfs.protocol.DatanodeInfo;
 
public  class  FindFile {
     
     public  static  void  main(String[] args)  throws  IOException {
         getFileLocal();
     }
     
     /**
      * 查找某个文件在HDFS集群的位置
      * @Title: 
      * @Description:
      * @param
      * @return
      * @throws
      */
     public  static  void  getFileLocal()  throws  IOException{
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
         Path path =  new  Path( "/user/hadoop/hdfs/xxxx.txt" );
         
         FileStatus status = fs.getFileStatus(path);
         BlockLocation[] locations = fs.getFileBlockLocations(status,  0 , status.getLen());
         
         int  length = locations.length;
         for ( int  i= 0 ;i<length;i++){
             String[] hosts = locations[i].getHosts();
             System.out.println( "block_"  + i +  "_location:"  + hosts[i]);
         }
     }
     
}

9、HDFS集群上所有节点名称信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
package  com.hadoop.file;
 
import  java.io.IOException;
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.BlockLocation;
import  org.apache.hadoop.fs.FileStatus;
import  org.apache.hadoop.fs.FileSystem;
import  org.apache.hadoop.fs.Path;
import  org.apache.hadoop.hdfs.DistributedFileSystem;
import  org.apache.hadoop.hdfs.protocol.DatanodeInfo;
 
public  class  FindFile {
     
     public  static  void  main(String[] args)  throws  IOException {
         getHDFSNode();
     }
     
     /**
      * HDFS集群上所有节点名称信息
      * @Title: 
      * @Description:
      * @param
      * @return
      * @throws
      */
     public  static  void  getHDFSNode()  throws  IOException{
         Configuration conf =  new  Configuration();
         FileSystem fs = FileSystem.get(conf);
 
         DistributedFileSystem  dfs = (DistributedFileSystem)fs;
         DatanodeInfo[] dataNodeStats = dfs.getDataNodeStats();
         
         for ( int  i= 0 ;i<dataNodeStats.length;i++){
             System.out.println( "DataNode_"  + i +  "_Node:"  + dataNodeStats[i].getHostName());
         }
         
     }
     
     
}

 

伪分布环境下操作FileSystem时候会出现异常：　　

Java代码如下：

1
2
FileSystem fs = FileSystem.get(conf);

 

抛出异常如下：

    Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/wzqSearchEngine/crawl/inject_in, expected: file:/// 
        at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310) 
        at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:47) 
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:357) 
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245) 
        at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125) 
        at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) 
        at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:356) 
        at com.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:23) 

解决方案：
将hadoop的core-site.xml和hdfs-site.xml放到当前工程下（Eclipse工作目录的bin文件夹下面）即可。

总结：

因为是访问远程的HDFS 需要通过URI来获得FileSystem。　　
铁头乔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JAVA操作HDFS案例的简单实现
08-29
本篇文章主要介绍了JAVA操作HDFS案例的简单实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
JAVA操作HDFS集群
m0_56369204的博客
06-25 1907
本文介绍了使用Java操作HDFS集群的方法，具体的操作包括创建目录、删除文件、移动与重命名文件、查询文件信息以及文件的上传和下载等。通过示例代码和截图展示了每个操作的实际效果，帮助读者理解和使用HDFS安全模式和相关操作。
HDFS的Java操作
qq_52980958的博客
06-16 660
如果我们的代码中没有指定fs.defaultFS，并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为： file:///，则获取的将不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象。——从conf中的一个参数 fs.defaultFS的配置值判断；我们的操作目标是HDFS，所以获取到的fs对象应该是DistributedFileSystem的实例；
Hadoop大数据技术-java操作hdfs
最新发布
m0_74394367的博客
03-13 497
使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作
利用Java代码操作HDFS
weixin_58414150的博客
12-07 1505
利用Java代码操作HDFS
JAVA代码操作HDFS
凉茶铺的博客
09-26 5500
介绍了如何通过Java代码方式来操作HDFS
记录Java读取hdfs上的文件全过程
一名想当程序员的人
06-04 1996
跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面
java操作hdfs.rar
08-23
java操作hdfs 修改参数配置与本机一致； 有五个示例文档，有用到springboot， Big data projects using HDFS and MapReduce
大数据-java操作HDFS基本操作
11-21
大数据-java操作HDFS的增、删、查等基本操作，maven项目
Java操作HDFS.md
06-02
Java操作HDFS.md
使用Java Api操作HDFS过程详解
08-25
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Java操作HDFS
anglemanyi的博客
09-24 942
方法一： 关闭HDFS权限校验，vim hdfs-site.xml 添加配置。其他用户没有访问HDFS的权限，解决办法有两种。方法二：修改HDFS根路径的权限为777。访问HDFS时发生报错。
HDFS之Java客户端操作
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-27 1967
HDFS之Java客户端操作
使用JDBC将数据从Oracle导入到HDFS中
XueEaten的博客
10-30 1978
从Oracle导入数据到HDFS中最常见的方式就是利用sqoop，但是使用sqoop是有一些前提要求的，当我们因为某些原因不能使用sqoop时，就应该考虑其他的方式了，比如java中最常用的jdbc。本文就是我以一个编程新手的身份处理这个需求的全部过程及体会，其中还会包含一些作为新手初次使用maven构建遇到的问题以及从mysql到oracle的不适应导致的一些问题等等。 首先，在网上查了一些资料...
【Hadoop】hdfs-site.xml配置文件参数说明
热门推荐
康师傅没有眼泪
10-16 1万+
-- 当全部DN被标记为脏DN的比率高于此阀值，停止不写数据到脏DN的策略，以免造成热点问题（有效的，可写的DN太少，压力太大）， dfs.namenode.avoid.write.stale.datanode -->
Java操作HDFS的文件和文件夹实例
zgustb的专栏
12-30 233
一.准备工作 参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven 二.测试代码 2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...
使用java API 操作
m0_63560941的博客
11-28 1063
了解HDFS Java API掌握使用Java API操作HDFS
使用java操作hdfs
04-01
要使用Java操作HDFS，您需要使用Hadoop的Java API。以下是一些常见的HDFS操作： 1. 创建一个Hadoop配置对象： ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); ``` 2. 创建一个HDFS文件系统对象： ```java FileSystem fs = FileSystem.get(conf); ``` 3. 在HDFS上创建一个新文件： ```java Path path = new Path("/user/hadoop/test.txt"); FSDataOutputStream outputStream = fs.create(path); outputStream.writeBytes("Hello World"); outputStream.close(); ``` 4. 从HDFS上读取一个文件： ```java Path path = new Path("/user/hadoop/test.txt"); FSDataInputStream inputStream = fs.open(path); BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream)); String line = null; while ((line = reader.readLine()) != null) { System.out.println(line); } reader.close(); inputStream.close(); ``` 5. 从HDFS上删除一个文件： ```java Path path = new Path("/user/hadoop/test.txt"); fs.delete(path, true); ``` 这些是一些基本的HDFS操作。您可以使用Java API进行更多的操作，例如复制、移动、重命名文件或目录等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值