hdfs 如何列出目录下的所有文件

原创 2015年05月22日 17:45:58
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileUtil;
public class  FilesList
{
    public static void main(String[] args) throws Exception
    {
        if(args.length != 1){
            System.out.println("Usage : FilesList <target>");
            System.exit(1);
        }
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(URI.create(args[0]),conf);
        FileStatus[] fs = hdfs.listStatus(new Path(args[0]));
        Path[] listPath = FileUtil.stat2Paths(fs);
        for(Path p : listPath)
            System.out.println(p);
    }
}

相关文章推荐

使用HDFS API列出目录下的所有文件

package mytest; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apach...

查看HDFS文件系统数据的三种方法

1、使用插件——Hadoop-Eclipse-Plugin 2、HDFS Web界面 3、shell命令

Hadoop之HDFS文件操作

摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...

Hadoop常用命令汇总

启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin...
  • bell2008
  • bell2008
  • 2013年07月31日 01:56
  • 23664

HDFS 读取、写入、遍历目录获取文件全路径、append

1、从HDFS中读取数据 Configuration conf = getConf(); Path path = new Path(pathstr); FileSystem fs = Fil...

HDFS文件操作命令及例子

HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用的、可...

HDFS——如何列出目录下的所有文件

可以用bin/hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。 也可以采用HDFS的API来读取。如下:import java.net.URI; import or...

HDFS 常用文件操作命令

前言HDFS命令基本格式:hadoop fs -cmd < args >ls 命令hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出h...

读取HDFS文件目录的方法

欢迎使用Markdown编辑器写博客首先添加依赖://注意后面的provided,缺少会报包冲突的错误 libraryDependencies += "org.apache.hadoop" % "ha...

Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用

2015-04-26 13:57   默认是从hdfs读取文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读   本地文件读取...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs 如何列出目录下的所有文件
举报原因:
原因补充:

(最多只允许输入30个字)