hdfs Shell操作

查看hdfs上lzo、gz、bz压缩格式的文件

• lzo

# 查看第一行
hdfs dfs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1

• gz

hdfs dfs -cat /origin_data/gmall/db/user_info_inc/2020-06-14/db.1711202553156.gz | zcat

• bz2

hadoop fs -cat /temp/b.bz2 | bzip2 -d

查看目录

hdfs dfs -ls /

创建目录

hdfs dfs -mkdir /test

上传文件

hdfs dfs -put word.txt /input

删除指定文件

hadoop fs -rm /user/hive/warehouse/emp/emp.txt

删除指定目录下有共性的所有文件

# /origin_data/gmall/db目录下存放了，文件名含_inv的文件
hadoop fs -ls /origin_data/gmall/db | grep _inc | awk '{print $8}' | xargs hadoop fs -rm -r -f

删除文件夹及内容

假设我的warehouse有2个目录，并且2个目录下各有多个文件，我想把warehouse目录下的所有内容都给删除

hadoop fs -rmr /user/hive/warehouse/*

假设我的warehouse有2个目录，并且2个目录下各有多个文件，我只想把2个目录中的一个给删除

hadoop fs -rmr /user/hive/warehouse/emp

有这么一种情况，我们知道hive表中的数据是在hdfs上存储的。当我们在操作hive时，想把表给删除了，虽然可以用以上命令进行删除表，但是这样操作后，尽管把表给删除了，但是存储在mysql中的元数据（描述原始数据的数据）并没有删除，所以不提倡这样的做法。除非原始数据与其它没有任何关联。