hadoop shell命令随手记

1. 提交mr任务：

hadoop jar <jar> [mainClass] args.. 如： hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test/output 如果打的jar包设置了mainclass，那么在hadoop jar命令中不需要设置mainclass，只需要提供jar以及参数即可。 如： hadoop jar hadoop-examples-1.0.0.jar /text/input /test/output

2. 查看正在运行的 Hadoop 任务

yarn application -list

3. 关闭 Hadoop 任务进程：

yarn application -kill $ApplicationId

4. 展示文件大小

hdfs dfs -du -s -h 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以 第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

5. hadoop集群更新时间

ntpdate -u s2m.time.edu.cn

6.如果修改hdfs文件所属组，需要使用supergroup的用户，比如hdfs用户去修改（查看超级用户组dfs.permissions.supergroup, dfs.permissions.superusergroup）

7. 查看block块信息

hdfs fsck /data/user/hive/warehouse/ods.db/ods_account_tbtradedetailsplit_tmp -files -blocks

8. hadoop集群同步

hadoop distcp hdfs://bigdataservice/hsql/tag_script/test hdfs://ip:8020/hsql/tag_script_new

9. 查看节点信息

hdfs dfsadmin -report

10. 查看log

yarn application -log appicationID

转载于:https://my.oschina.net/lzhaoqiang/blog/3064063