Hadoop——使用java对HDFS文件进行增删改查

1、导入相关jar包。

将Hadoop目录下的share中的jar包导入到Eclipse

2、创建配置信息对象并通过FileSysem.get()回复文件系统对象

 Configuration conf = new Configuration();

 

//URI对应的地址为core-site.xml中fs.defaultFS对应的地址

//“enche”是访问hdfs时的用户名

FileSystem fs = FileSystem.get(new URI("hdfs://xxx.xxx.xxx:xxxx"), conf, “enche”);

 

//上传文件

fs.copyFromLocalFile(本地地址, hdfs地址)；

 

//下载文件

fs.copyToLocalFile(hdfs地址, 本地地址)；

 

//修改文件名

fs.rename(原路径, 目标路径);

 

//创建文件夹

fs.mkdir(文件夹路径);

 

//删除文件(recusive为boolean，是否递归删除)

fs.delete(路径, recursive);

 

 

 

 

通过流进行上传下载

一、上传

//创建输出流

fs.create(path);

//使用IO工具类进行输入输出流对接

IOUtils.copy(Input, Output);

 

二、下载

//创建输入

fs.open(path);

 

//使用IO工具类进行输入输出流对接

IOUtils.copy(Input, Output);

 

三HDFS输出流位置定位

hdfsInput.seek(字节长度);