1. 概述
2. 文件操作
2.1 上传本地文件到hadoop fs
2.2 在hadoop fs中新建文件,并写入
2.3 删除hadoop fs上的文件
2.4 读取文件
3. 目录操作
3.1 在hadoop fs上创建目录
3.2 删除目录
3.3 读取某个目录下的所有文件
4. 参考资料接代码下载
<1>. 概述
hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中,这些api能够支持的操作包含:打开文件,读写文件,删除文件等。
hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个:
static FileSystem get(Configuration conf);
该类封装了几乎所有的文件操作,例如mkdir,delete等。综上基本上可以得出操作文件的程序库框架:
operator()
{
得到Configuration对象
得到FileSystem对象
进行文件操作
}
另外需要注意的是,如果想要运行下面的程序的话,需要将程序达成jar包,然后通过hadoop jar的形式运行,这种方法比较麻烦,另外一种方法就是安装eclipse的hadoop插件,这样能够很多打包的时间。
<1>. 文件操作
1.1 上传本地文件到文件系统
/** upload the local file to the hds
* notice that the path is full like /tmp/test.c*/publicstaticvoiduploadLocalFile2HDFS(String s, String d)throwsIOException
{
Configuration config=newConfiguration();
FileSystem hdfs=FileSystem.get(config);
Path src=newPath(s);
Path dst=newPath(d);
hdfs.copyFromLocalFile(src, dst);
hdfs.close();
}
1.2 创建新文件,并写入
/*
* create a new file in the hdfs.
* notice that the toCreateFilePath is the full path
* and write the content to the hdfs file.
*/publicstaticvoidcreateNewHDFSFile(String toCreateFilePath, String content)throwsIOException
{
Configuration config=newConfiguration();
FileSystem hdfs=FileSystem.get(config);
FSDataOutputStream os=hdfs.create(newPath(toCreateFilePath));
os.write(content.getBytes("UTF-8"));
os.close();
hdfs.close();
}
1.3 删除文件
/* * delete the hdfs file
* notice that the dst is the full path name*/publicstaticbooleandeleteHDFSFile(String dst)throwsIOException
{
Configuration config=newConfiguration();
FileSystem hdfs=FileSystem.get(config);
Path path=newPath(dst);booleanisDeleted=hdfs.delete(path);
hdfs.close();returnisDeleted;
}
1.4 读取文件
/** read the hdfs file content* notice that the dst is the full path name
*/publicstaticbyte[] readHDFSFile(String dst)throwsException
{
Configuration conf=newConfiguration();
FileSystem fs=FileSystem.get(conf);//check if the file existsPath path=newPath(dst);if( fs.exists(path) )
{
FSDataInputStream is=fs.open(path);//get the file info to create the bufferFileStatus stat=fs.getFileStatus(path);//create the bufferbyte[] buffer=newbyte[Integer.parseInt(String.valueOf(stat.getLen()))];
is.readFully(0, buffer);
is.close();
fs.close();returnbuffer;
}else{thrownewException("the file is not found .");
}
}
<2>. 目录操作
2.1 创建目录
/** make a new dir in the hdfs*
* the dir may like '/tmp/testdir'
*/publicstaticvoidmkdir(String dir)throwsIOException
{
Configuration conf=newConfiguration();
FileSystem fs=FileSystem.get(conf);
fs.mkdirs(newPath(dir));
fs.close();
}
2.2 删除目录
/** delete a dir in the hdfs
*
* dir may like '/tmp/testdir'*/publicstaticvoiddeleteDir(String dir)throwsIOException
{
Configuration conf=newConfiguration();
FileSystem fs=FileSystem.get(conf);
fs.delete(newPath(dir));
fs.close();
}
2.3 读取某个目录下的所有文件
public static voidlistAll(String dir)throwsIOException
{
Configuration conf =newConfiguration();
FileSystem fs=FileSystem.get(conf);
FileStatus[] stats=fs.listStatus(newPath(dir));for(inti=0; i
{if(stats[i].isFile())
{//regular fileSystem.out.println(stats[i].getPath().toString());
}elseif(stats[i].isDirectory())
{//dirSystem.out.println(stats[i].getPath().toString());
}elseif(stats[i].isSymlink())
{//is s symlink in linuxSystem.out.println(stats[i].getPath().toString());
}
}
fs.close();
}
<4>. 参考资料及代码下载
注意的是如果是操作hdfs上文件的话,需要将hadoop-core和common-log的jar包添加到classpath中,在本地运行,如果是mapreduce程序的话,需要将程序打成jar包,之后上传到hdfs上,才能运行。