java logstash_java项目日志写到logstash-TCP/UDP

好处:项目日志写到logstash,然后发送到ElasticSearch,可以方便查看搜索日志,还可以做报表分析。

logstash是一个数据采集工具,有多种渠道,比如文件,tcp,udp等,如果是采集日志文件,那么需要在存放文件所在的服务器上,启动一个logstash服务,不方便快速部署;而采用tcp/udp的方式相对来讲就简单一点,只需要将数据发送到logstash服务就行。这里主要讲一下网络传输的方式。

首先,无论是tcp还是udp,都需要在maven里添加依赖:

net.logstash.logback

logstash-logback-encoder

4.8

这里我们使用的是logback日志框架

TCP

192.168.10.11:2233

注意:class使用的是LogstashTcpSocketAppender,支持tcp传输

UDP

192.168.10.11

3333

注意:class使用的是LogstashSocketAppender,支持udp传输

最后在里,添加相应的引用就行,例如:

到此,我们代码里的配置就完成了,启动程序之后,会将相应level+的日志发送到logstash。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Logstash调优可以从以下几个方面入手: 1. 增加Logstash实例:可以通过横向扩展的方式来提高Logstash的处理能力,多个Logstash相互独立,采用相同的pipeline配置,另外可以在这多个Logstash前增加一个LoadBalance,以实现多个Logstash的负载均衡。 2. 优化pipeline配置:可以通过优化pipeline配置来提高Logstash的性能,例如使用grok等插件来解析日志,使用filter插件来过滤不必要的数据等。 3. 调整JVM参数:可以通过调整JVM参数来提高Logstash的性能,例如增加堆内存大小、减少垃圾回收次数等。 4. 使用异步处理:可以使用异步处理来提高Logstash的性能,例如使用异步输出插件来将数据输出到Elasticsearch等目标系统。 5. 优化输入输出:可以通过优化输入输出来提高Logstash的性能,例如使用TCP输入插件来替代UDP输入插件,使用bulk输出插件来替代单条输出插件等。 以下是一个Logstash调优的例子: ```shell # 增加Logstash实例 # 在多台服务器上启动多个Logstash实例,并使用LoadBalance进行负载均衡 # pipeline配置相同,可以使用同一份配置文件 # 配置文件示例: input { beats { port => 5044 } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } output { elasticsearch { hosts => ["localhost:9200"] index => "logstash-%{+YYYY.MM.dd}" } } # 调整JVM参数 # 在启动Logstash时增加JVM参数,例如增加堆内存大小为4G bin/logstash -J-Xmx4g # 使用异步处理 # 在output插件中使用异步输出插件,例如使用elasticsearch_async插件 output { elasticsearch_async { hosts => ["localhost:9200"] index => "logstash-%{+YYYY.MM.dd}" } } # 优化输入输出 # 使用TCP输入插件替代UDP输入插件,使用bulk输出插件替代单条输出插件 input { tcp { port => 5000 } } output { elasticsearch { hosts => ["localhost:9200"] index => "logstash-%{+YYYY.MM.dd}" codec => "json" flush_size => 500 idle_flush_time => 1 } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值