【大数据】hadoop文件操作常用命令

Hadoop下有一些经常使用的命令，通过这些命令能够非常方便操作Hadoop上的文件。

0、查看帮助

hadoop  -h

1、查看指定文件夹下的内容

hadoop fs -ls 文件文件夹

2、打开某个已存在的文件

hadoop fs -cat 文件地址 [ | more]
# []表示的是可选命令

3、将本地文件存到Hadoop

hadoop fs -put 本地文件地址 Hadoop文件夹

4、将Hadoop上的文件下载到本地文件夹内

hadoop fs -get Hadoop文件夹 本地文件文件夹

5、删除Hadoop上指定的文件

hadoop fs -rm Hadoop文件地址

6、删除Hadoop上指定的文件夹

hadoop fs -rm -r Hadoop文件文件夹

7、在Hadoop指定文件夹下新建一个空文件夹

hadoop fs -mkdir Hadoop文件夹

8、在Hadoop指定文件夹下新建一个空文件

hadoop fs -touchz Hadoop文件

9、将Hadoop上某个文件重命名

hadoop fs -mv Hadoop原文件地址 Hadoop新文件地址

10、将正在执行的Hadoop作业kill掉

#两种方式：
hadoop job -list #查看任务列表
hadoop job -kill $JobId #杀死某个任务

#有时候会出现杀不死某个任务的情况，这是由于hadoop的新版本不支持上述命令，此时可用下边命令查看和杀死任务
yarn application -list #查看任务列表
yarn application -kill $ApplicationId #杀死某个任务