HDFS API操作实践

  本文提供几个简单的实例,来说明如何使用hadoop的java API针对HDFS进行文件上传、创建、重命名、删除操作

  本文地址:http://www.cnblogs.com/archimedes/p/hdfs-api-operations.html,转载请注明源地址。

  1.上传本地文件到HDFS

  通过FileSystem.copyFromLocalFile(Path src, Path dst)可将本地文件上传到HDFS指定的位置上,其中src和dst均为文件的完整路径

  在《hadoop实战--搭建开发环境及编写Hello World》一文中的myHelloWorld项目下新建一个文件CopyFile.java,添加代码:

  import java.util.*;

  import java.io.IOException;

  import java.util.StringTokenizer;

  import org.apache.hadoop.conf.Configuration;

  import org.apache.hadoop.fs.*;

  import org.apache.hadoop.fs.FileStatus;

  import org.apache.hadoop.fs.FileSystem;

  import org.apache.hadoop.fs.Path;

  public class CopyFile {

  public static void main(String[] args) throws Exception {

  Configuration conf = new Configuration();

  FileSystem hdfs = FileSystem.get(conf);

  Path src =new Path("/home/wu/copy.txt"); //完整路径

  Path dst =new Path("hdfs://localhost:9000/user/wu/in/");

  hdfs.copyFromLocalFile(src, dst);

  System.out.println("Upload to" + conf.get("fs.default.name"));

  FileStatus files[] = hdfs.listStatus(dst);

  for(FileStatus file : files) {

  System.out.println(file.getPath());

  }

  }

  }

  copy.txt为自己新建的一个测试文件,关于dst路径,可以双击in文件中的test1.txt,就会出现完整路径名(hdfs://localhost:9000/user/wu/in)

  注意:main后面加上throws Exception,否则会报错

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值