改造CDH HDFS服务NameNode,DataNode进程的日志输出格式为Json

背景

由于项目需要,需要将CDH中HDFS服务的进程的log输出格式改造成json格式,以便于后续使用Spark的处理,因此对其进行改造

修改NameNode进程的日志输出格式

在CDH中进行配置:

log4j.appender.RFA.layout.ConversionPattern = 
{"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n

修改DataNode进程的日志输出格式

在CDH中进行配置:

log4j.appender.RFA.layout.ConversionPattern = 
{"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n

重启&生效

保存

保存之后,单击Stale Configuration:Restart needed
这里写图片描述

Restart Stale Services

这里写图片描述

Review Changes

这里写图片描述

验证

这里写图片描述

不足

当出现exception换行时,就会整个信息只有第一行为json格式,剩余行为普通输出,那么整个一条信息就不是完整的json(该现象可称为日志折断现象)
将在后续中使用改造Flume来进行解决

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值