利用Java API对HDFS文件系统进行操作

前期配置好centos的namenode和datanode之后,能利用start-dfs.sh正常启动后可用Eclipse编写程序对hdfs文件系统进行相应的增删改查等操作。

  • 首先需要配置hadoop的window环境变量,否则不能进行对hdfs进行正常操作。

打开我的电脑中的属性,环境变量,点新建添加HADOOP_HOME值为你的hadoop所在的目录(注意不要有中文),最后再把hadoop中的bin配置到Path中即可。

  • 然后时jar包的导入,打开hadoop2.8.1(版本可能不同)文件夹—》share—》hadoop,将hdfs中的hadoop-hdfs-2.8.1.jar和hadoop-hdfs-client-2.8.1.jar和lib文件夹(依赖包)中所有jar包,以及common中hadoop-commom-2.8.1.jar和lib中所有jar包都同意导入到eclipse中的lib中,并且全部都add to build path。
  • 注意:在进行文件上传的时候,需要hadoop2.8.1中bin目录中的某个.exe文件,需要c编译后导入到bin中。因为读取本地的文件需要用到这个.exe文件。

package hdfs;

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import ja
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值