logstash实时采集log4j日志并存入elasticsearch案例实战

本文详细介绍了如何配置Logstash以实现实时采集Java应用中log4j生成的日志,并通过数据清洗,将日志数据存入Elasticsearch。配置包括Java应用端的log4j设置,Logstash服务端的input、filter和output阶段的配置,以及针对不同日志类型的处理,如交易日志、错误日志和其他日志的过滤、解析和丢弃。最后,Logstash将清洗后的日志数据按照不同的type字段写入Elasticsearch的相应索引中。
摘要由CSDN通过智能技术生成

Logstash实时采集log4j日志配置

 

Java应用端log4j配置

 

properties文件配置方式

#请使用该socket 
log4j.appender.socket=org.apache.log4j.net.SocketAppender
#logstash服务主机端口号
log4j.appender.socket.Port=4567
#logstash服务主机
log4j.appender.socket.RemoteHost=168.7.1.67
log4j.appender.socket.ReconnectionDelay=10000
#输出类名、行、文件名等字段信息
log4j.appender.socket.LocationInfo=true

xml文件配置方式

 

#appender-ref 中引用 socketAppender
<appender name="socketAppender" class="org.apache.log4j.net.SocketAppender">
	<param name="remoteHost" value="168.7.1.67" /><!-- 远程主机地址 -->
	<param name="port" value="4567" /><!-- 远程主机端口 -->
	<!-- 请自定义该项 -->
	<param name="Threshold" value="DEBUG" />
	<param name="ReconnectionDelay" value="10000" />
	<param name="LocationInfo" value="true" />
</appender>

 

 

 

Logstash服务端配置

conf文件配置

 

 

input {
    log4j {
        mode => "server"
        host => "168.37.1.67"
        port => 4567
		codec => plain { charset => "GB231
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值