hdfs 操作
上传文件
-moveFromLocal 从本地剪切到 hdfs
$ hadoop fs -moveFromLocal ./test.txt /test
-copyFromLocal 从本地复制到 hdfs
$ hadoop fs -copyFromLocal ./test.txt /test
-put 等同于 copyFromLocal
$ hadoop fs -put ./test.txt /test
-appendToFile 向已经存在的文件末尾追加
$ hadoop fs -appendToFile ./test1.txt /test/test.txt
下载文件
-copyToLocal 从 hdfs 复制到本地
$ hadoop fs -copyToLocal /test/test.txt ./
-get 等同于 copyToLocal
$ hadoop fs -get /test/test.txt ./
其他
-ls 显示目录信息
$ hadoop fs -ls /
-cat 查看文件内容
$ hadoop fs -cat /test/test.txt
-chmod -chown 修改文件权限
$ hadoop fs -chmod 777 /test/test.txt
$ hadoop fs -chown daidai:daidai /test/test.txt
-mkdir 创建目录
$ hadoop fs -mkdir /input
-cp 从 hdfs 上复制文件到另外目录中(hdfs)
$ hadoop fs -cp /test/test.txt /input
-mv 在 hdfs 中移动目录
$ hadoop fs -mv /test/test.txt /test1/
-tail 显示一个文件末尾 1kb 的数据
$ hadoop fs -tail /test/test.txt
-rm 删除文件或文件夹 -r 递归删除
$ hadoop fs -rm /test/test.txt
$ hadoop fs -rm -r /test
-du 统计文件夹的大小
$ hadoop fs -du /test
yarn 操作
提交任务
$ hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
列出所有 application
$ yarn application -list
根据 application 状态过滤(ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)
$ yarn application -list -appStates FINISHED
终止 application
$ yarn application -kill application_1612597921195_0001
查看任务 log
$ yarn logs -applicationId application_1612597921195_0001
查看所有 node 节点信息
$ yarn node -list -all
查看队列信息
$ yarn queue -status <QueueName>