通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径

示例:
$ yarn application -kill application_Id

hadoop命令行 与job相关的:
命令行工具 •
1.查看 Job 信息:
hadoop job -list
2.杀掉 Job:
hadoop job –kill job_id
3.指定路径下查看历史日志汇总:
hadoop job -history output-dir
4.作业的更多细节:
hadoop job -history all output-dir
5.打印map和reduce完成百分比和所有计数器:
hadoop job –status job_id
6.杀死任务。被杀死的任务不会不利于失败尝试:
hadoop jab -kill-task
7.使任务失败。被失败的任务会对失败尝试不利:
hadoop job -fail-task
8、yarn container 的日志路径
/etc/hadoop/conf/yarn-site.xml 配置文件中

  • yarn.nodemanager.log-dirs 指定本机的日志路径 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/container_e03_1546250639760_0052_01_000001/)
  • yarn.log-aggregation-enable 是否启用日志聚集功能。默认 false。
    yarn.log-aggregation-enable 启用之后,日志路径:hdfs://app-logs/user_name/logs-ifile/application_1546250639760_0045
    查看日志 yarn logs -applicationId application_1546250639760_0055

9、查看集群的状态
hadoop dfsadmin -safemode get # 查看安全模式状态

hadoop dfsadmin -safemode enter # 进入安全模式状态

hadoop dfsadmin -safemode leave # 离开安全模式

10 启动线上hadoop集群的方式(以下是第一次运行的时候)
./hdfs zkfc -formatZK格式化zookeeper
./hadoop-daemons.sh start journalnode 启动 journalnode (3台机器上执行)
./hadoop namenode -format
./hadoop-daemon.sh start namenode
./hdfs namenode -bootstrapStandby 同步第一台NameNode元数据 (进入第二台机器)
./start-all.sh
./yarn-daemon.sh start resourcemanager

查询resourcemanager状态:actve、standby

./yarn rmadmin -getServiceState namenode2

./yarn-daemon.sh start nodemanager

sbin/hadoop-daemon.sh start datanode

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值