hadoop HDFS常用文件操作命令

hadoop HDFS常用文件操作命令

最近用到hdfs，要把跑到的数据存到hdfs上。
涉及到一些常用的命令。
速查手册

先简单理解：
用法我先理解为，类似于linux命令前面加个hadoop fs -
如，hadoop fs -ls ,hadoop fs -mkdir。

显示目录下文件 ls

hadoop fs -ls

查看文件内容 cat

hadoop fs -cat test.txt

建目录 mkdir

hadoop fs -mkdir log_data

拉hdfs上的文件到本地 get

hadoop fs -get hdfs路径 本地路径
type hadoop可获取hadoop的绝对路径

合并文件到本地 getmerge

好用！
getmerge拉下来后，直接就把所有的part-XXX的内容合并到一起了。
hadoop fs -getmerge hdfs路径/文件夹 本地路径
hadoop fs -getmerge -nl hdfs路径/文件夹 本地路径 加nl，合并到本地文件中的hdfs文件之间会空出一行。

上传本地文件到hdfs put

hdfs fs -put 本地文件 hdfs路径

查文件数量 count

hdfs fs -count 文件夹路径
显示为路径下目录个数，文件个数，文件总计大小(是B吧)，输入路径

显示文件的大小 du

显示路径下所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

删除

删除的时候谨慎
hadoop fs -rm 删除文件
hadoop fs -rmr 删除文件夹
删除后会放到回收站(Moved to trash)