HDFS文件的创建、上传、下载、删除(基于本机API调用)

HDFS文件的创建、上传、下载、删除(基于本机API调用)

一、完整的一个Hadoop环境

安装参考
启动hadoop程序

二、新建maven工程

新建参考

三、文件操作

ps:针对文件的操作与Linux虚拟机的操作略有不同
Linux虚拟机的操作

  1. 文件的创建
 @Test
    public  void create() throws Exception{
   
        Configuration cfg = new Configuration(); //创建配置文件
         FileSystem fs = FileSystem.get(new URI(hdfs的地址),cfg,"root");//获取文件系统
         //注意,这边如果在电脑本机没有配置hosts的化,地址只能使用ip地址 ,要写用户
        fs.mkdirs(new Path<
  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. 展示HDFS文件列表 要展示HDFS文件列表,可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中展示HDFS文件列表的示例: ```java public List<String> listHdfsFiles(String path) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path hdfsPath = new Path(path); RemoteIterator<LocatedFileStatus> files = fs.listFiles(hdfsPath, true); List<String> fileList = new ArrayList<>(); while (files.hasNext()) { fileList.add(files.next().getPath().toString()); } return fileList; } ``` 2. 上文件 要上文件HDFS,可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中上文件HDFS的示例: ```java public void uploadFileToHdfs(String localFilePath, String hdfsPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path(localFilePath); Path dstPath = new Path(hdfsPath); fs.copyFromLocalFile(srcPath, dstPath); } ``` 3. 删除文件删除HDFS中的文件,可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中删除HDFS中的文件的示例: ```java public void deleteHdfsFile(String hdfsPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path(hdfsPath); fs.delete(path, true); } ``` 4. 下载文件 要从HDFS下载文件,可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中从HDFS下载文件的示例: ```java public void downloadHdfsFile(String hdfsPath, String localPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path(hdfsPath); Path dstPath = new Path(localPath); fs.copyToLocalFile(srcPath, dstPath); } ``` 以上示例中的代码仅供参考,具体的实现方式可以根据实际需求进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值