如何动态调整hadoop日志级别

8 篇文章 0 订阅

日志文件:

2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from NEW to INITING
2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Adding container_1533624199682_0095_01_000001 to application application_1533624199682_0095
2018-08-07 15:24:32,768 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from INITING to RUNNING

其中本人nodemanager部署在IP:99.48.1.2上 查看下表对应的端口:8042
那么我们可以get方式浏览器访问
http://99.48.1.2:8042/logLevel?log=org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl&level=WARN
将该类的日志级别设置为WARN。

以下为hadoop常用模块和端口:

组件  节点  默认端口    配置  用途说明
HDFS    DataNode    50010   dfs.datanode.address    "datanode服务端口,用于数据传输"
HDFS    DataNode    50075   dfs.datanode.http.address   http服务的端口
HDFS    DataNode    50475   dfs.datanode.https.address  https服务的端口
HDFS    DataNode    50020   dfs.datanode.ipc.address    ipc服务的端口
HDFS    NameNode    50070   dfs.namenode.http-address   http服务的端口
HDFS    NameNode    50470   dfs.namenode.https-address  https服务的端口
HDFS    NameNode    8020    fs.defaultFS    接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS    journalnode 8485    dfs.journalnode.rpc-address RPC服务
HDFS    journalnode 8480    dfs.journalnode.http-address    HTTP服务
HDFS    ZKFC    8019    dfs.ha.zkfc.port    ZooKeeper FailoverController,用于NN HA
YARN    ResourceManager 8032    yarn.resourcemanager.address    RM的applications manager(ASM)端口
YARN    ResourceManager 8030    yarn.resourcemanager.scheduler.address  scheduler组件的IPC端口
YARN    ResourceManager 8031    yarn.resourcemanager.resource-tracker.address   IPC
YARN    ResourceManager 8033    yarn.resourcemanager.admin.address  IPC
YARN    ResourceManager 8088    yarn.resourcemanager.webapp.address http服务端口
YARN    NodeManager 8040    yarn.nodemanager.localizer.address  localizer IPC
YARN    NodeManager 8042    yarn.nodemanager.webapp.address http服务端口
YARN    NodeManager 8041    yarn.nodemanager.address    NM中container manager的端口
YARN    JobHistory Server   10020   mapreduce.jobhistory.address    IPC
YARN    JobHistory Server   19888   mapreduce.jobhistory.webapp.address http服务端口

参考:
https://blog.csdn.net/sunwukong_hadoop/article/details/60877698

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值