Hadoop 使用小命令（2）

一、查看一堆文件共有多少行

查看file1/file2目录下所有文件总共多少行

hadoop fs -text file1/file2/* | wc -l

二、正则表达式

hadoop fs -text file1/file2/* | grep ','

匹配file1/file2/*文件中含逗号'，'的内容。

二、deflate文件

　　1、查看：（hdfs处理之后一种压缩文件），可以采用hadoop fs -text +文件名查看

　　2、解压：（解压一个文件）解压Hadoop的file1/file2目录下file_a文件到本地file_b文件中：

hadoop fs -text file1/file2/file_a.deflate> file_b

　　　　　　（解压所有文件到本地一个文件）

hadoop fs -text file1/file2/*> file_b 

三、从Hadoop上下载文件到本地当前目录下

【若报错：input/output，查看目录有没有写对，以及本地当前目录是否有权限写入，如果没有，修改文件权限】

hadoop fs -get hadoop_file1/file_2 

 四、检查文件存不存在test

 test
使用方法：hadoop fs -test -[ezd] URI
选项：-e 检查文件是否存在。如果存在则返回0。-z 检查文件是否是0字节。如果是则返回0。-d 如果路径是个目录，则返回1，否则返回0。
示例：
hadoop fs -test -e filename

shell命令的返回值用 $? 表示；还需要执行 echo $?; 查看

 

五、统计目录下文件大小

-du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。

 -du -s -h  /user/hive/warehouse/table_test 
# 汇总该表所占据的存储空间,显示单位

 

 

转载于:https://www.cnblogs.com/Lee-yl/p/10906474.html