如何提升日志性能避免IO瓶颈

1.直接落库,查询日志文件,或者分布式的话就是直接落库,用日志收集组件去收集+展示(例如:filebeat和Logstash)
2.用ELK+kafka收集日志之后做展示
3.可以将日志文件写入到Linux的临时文件系统 tmpfs 中,它是一种基于内存的文件系统,在临时文件系统中写日志的性能相比直接写磁盘,至少能提升100倍,并且当日志文件达到一定大小(例如20MB时),就将日志文件转移到磁盘上,并将临时文件系统中的日志文件清空,相比频繁的小数据写入,磁盘在顺序写入大文件的时候性能更高,也就降低了写入压力
4.日志文件中存在字符串拼接时(会导致程序分配新的字符串对象来保存拼接后的结果,导致在栈空间占据大量内存),替换为基于字符数组做参数拼接(典型的例子是实现一个带字符数组缓冲区的日志对象,将整数/字符串转成字符数组并追加到缓冲区)

2Tips:
ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。是目前主流的一种日志系统。
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志

4Tips:
JDK中String类为final类,用来存放String字符的value也是final,这就说明string对象在创建完成后value值就已经无法再修改了,因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象
所以如果修改频率过高,会导致不断在内存中生成新的栈空间来存储新的str的内容,这就会导致当字符串操作次数很多时会在栈空间占据大量内存甚至导致内存溢出

例如:String源码

public final class String implements java.io.Serializable, Comparable<String>, CharSequence {
   
    private final char value[];

用于个人学习记录

转载自

高性能日志:如何提升日志性能避免 IO 瓶颈?_LLH-CSDN博客

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值