关闭

hdfs 如何列出目录下的所有文件

1662人阅读 评论(0) 收藏 举报
分类:
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileUtil;
public class  FilesList
{
    public static void main(String[] args) throws Exception
    {
        if(args.length != 1){
            System.out.println("Usage : FilesList <target>");
            System.exit(1);
        }
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(URI.create(args[0]),conf);
        FileStatus[] fs = hdfs.listStatus(new Path(args[0]));
        Path[] listPath = FileUtil.stat2Paths(fs);
        for(Path p : listPath)
            System.out.println(p);
    }
}
0
0
查看评论

关于HDFS数据存储路径

hdfs中的绝对路径,就比较简单,就是类似/a/b/c/xxx这样的,就是从根目录开始,通过这个名字找到文件(目录),这个Linux的绝对路径是一样的概念。由于我们并不会像操作Linux文件系统一样cd到hdfs的某个目录下,于是,hdfs中一般来说没有“当前目录”的概念(用fuse或者NFS情况除...
  • superman_xxx
  • superman_xxx
  • 2016-06-16 09:19
  • 5276

HDFS目录(文件 )权限管理

HDFS 权限管理
  • General_du
  • General_du
  • 2015-12-11 14:25
  • 1703

分别用Shell和Python遍历查询Hdfs文件路径

1、使用Shell /Users/nisj/PycharmProjects/BiDataProc/getOssFileForDemo/getHdfsFilePath.sh #!/usr/bin/env bash for file_path in `hadoop dfs -ls /tmp/oss...
  • BabyFish13
  • BabyFish13
  • 2017-05-11 16:51
  • 1183

Hadoop当中查看目录和文件是否存在

fs -test -e可以用来检查文件或目录是否存在 fs -test -d用来检查指定目录是否是一个目录,但首先要查检该位置是否存在。 因此在检查一个目录是否存在时,只能用-test -e hadoop判断文件是否存在   在shell中判断一个...
  • liujianfei526
  • liujianfei526
  • 2016-06-20 16:41
  • 3394

使用HDFS API列出目录下的所有文件

package mytest; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.f...
  • ilovemilk
  • ilovemilk
  • 2015-06-02 21:12
  • 2908

查看HDFS文件系统数据的三种方法

1、使用插件——Hadoop-Eclipse-Plugin 2、HDFS Web界面 3、shell命令
  • Flyfish111222
  • Flyfish111222
  • 2016-07-22 15:38
  • 19687

HFDS 常用命令 fsck 查看文件信息和block位置信息

在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行,普通用户无权限。 [root@minit1 hadoop-2.7.2]# bin/hdfs fsck   Usag...
  • m0_37936420
  • m0_37936420
  • 2017-12-22 16:53
  • 70

HDFS的基本操作(增删查)

本片文章主要介绍利用FileSystem API对HDFS进行相关操作,如增删查等——HDFS不支持对文件在任意位置修改。 1 从HDFS中读取数据 从HDFS中读取数据,主要是从存放在HDFS中的文件中读取数据,可以利用FileSystem中的open()方法得到一个文件的输入流,从文件输入流...
  • lu__peng
  • lu__peng
  • 2018-01-05 20:09
  • 59

HaDoop文件系统HDFS的浏览器查看

简介:HaDoop安装之后,我们需要查看其虚拟的文件系统目录及内容,这时就需要用到浏览器,可以使用虚拟机的内置浏览器,即火狐浏览器,也可以使用本地机器的浏览器。
  • Haiyang_Duan
  • Haiyang_Duan
  • 2016-11-22 16:43
  • 7871

HADOOP 查看目录下数据大小的方法

shell命令: hadoop fs -count -q  目录       ps: 查看目录下总的大小
  • lantian0802
  • lantian0802
  • 2014-08-27 11:20
  • 6387
    个人资料
    • 访问:54727次
    • 积分:1162
    • 等级:
    • 排名:千里之外
    • 原创:47篇
    • 转载:42篇
    • 译文:3篇
    • 评论:2条
    最新评论