示例:
$ yarn application -kill application_Id
hadoop命令行 与job相关的:
命令行工具 •
1.查看 Job 信息:
hadoop job -list
2.杀掉 Job:
hadoop job –kill job_id
3.指定路径下查看历史日志汇总:
hadoop job -history output-dir
4.作业的更多细节:
hadoop job -history all output-dir
5.打印map和reduce完成百分比和所有计数器:
hadoop job –status job_id
6.杀死任务。被杀死的任务不会不利于失败尝试:
hadoop jab -kill-task
7.使任务失败。被失败的任务会对失败尝试不利:
hadoop job -fail-task
8、yarn container 的日志路径
/etc/hadoop/conf/yarn-site.xml 配置文件中
- yarn.nodemanager.log-dirs 指定本机的日志路径 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/container_e03_1546250639760_0052_01_000001/)
- yarn.log-aggregation-enable 是否启用日志聚集功能。默认 false。
yarn.log-aggregation-enable 启用之后,日志路径:hdfs://app-logs/user_name/logs-ifile/application_1546250639760_0045
查看日志 yarn logs -applicationId application_1546250639760_0055
9、查看集群的状态
hadoop dfsadmin -safemode get # 查看安全模式状态
hadoop dfsadmin -safemode enter # 进入安全模式状态
hadoop dfsadmin -safemode leave # 离开安全模式
10 启动线上hadoop集群的方式(以下是第一次运行的时候)
./hdfs zkfc -formatZK格式化zookeeper
./hadoop-daemons.sh start journalnode 启动 journalnode (3台机器上执行)
./hadoop namenode -format
./hadoop-daemon.sh start namenode
./hdfs namenode -bootstrapStandby 同步第一台NameNode元数据 (进入第二台机器)
./start-all.sh
./yarn-daemon.sh start resourcemanager
查询resourcemanager状态:actve、standby
./yarn rmadmin -getServiceState namenode2
./yarn-daemon.sh start nodemanager
sbin/hadoop-daemon.sh start datanode