hdfs 及 yarn shell 操作

hdfs 操作

上传文件

-moveFromLocal 从本地剪切到 hdfs
$ hadoop fs -moveFromLocal ./test.txt /test

-copyFromLocal 从本地复制到 hdfs
$ hadoop fs -copyFromLocal ./test.txt /test

-put 等同于 copyFromLocal
$ hadoop fs -put ./test.txt /test

-appendToFile 向已经存在的文件末尾追加
$ hadoop fs -appendToFile ./test1.txt /test/test.txt

下载文件

-copyToLocal 从 hdfs 复制到本地
$ hadoop fs -copyToLocal /test/test.txt ./

-get 等同于 copyToLocal
$ hadoop fs -get /test/test.txt ./

其他

-ls 显示目录信息
$ hadoop fs -ls /

-cat 查看文件内容
$ hadoop fs -cat /test/test.txt

-chmod -chown 修改文件权限
$ hadoop fs -chmod 777 /test/test.txt
$ hadoop fs -chown daidai:daidai /test/test.txt

-mkdir 创建目录
$ hadoop fs -mkdir /input

-cp 从 hdfs 上复制文件到另外目录中（hdfs）
$ hadoop fs -cp /test/test.txt /input

-mv 在 hdfs 中移动目录
$ hadoop fs -mv /test/test.txt /test1/

-tail 显示一个文件末尾 1kb 的数据
$ hadoop fs -tail /test/test.txt

-rm 删除文件或文件夹 -r 递归删除
$ hadoop fs -rm /test/test.txt
$ hadoop fs -rm -r /test

-du 统计文件夹的大小
$ hadoop fs -du /test

yarn 操作

提交任务
$ hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

列出所有 application
$ yarn application -list

根据 application 状态过滤（ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
$ yarn application -list -appStates FINISHED

终止 application
$ yarn application -kill application_1612597921195_0001

查看任务 log
$ yarn logs -applicationId application_1612597921195_0001

查看所有 node 节点信息
$ yarn node -list -all

查看队列信息
$ yarn queue -status <QueueName>