访问日志IO性能优化

最新推荐文章于 2023-06-10 16:28:12 发布
最新推荐文章于 2023-06-10 16:28:12 发布
阅读量5.1k 收藏 14
点赞数 1
文章标签： 高并发 IO 优化 磁盘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyangzhizhou/article/details/46581991
版权
tomcat内核 同时被 3 个专栏收录
133 篇文章 46 订阅 ¥79.90 ¥99.00
订阅专栏 超级会员免费看
杂
340 篇文章 0 订阅
订阅专栏
Java 开源研究
53 篇文章 0 订阅
订阅专栏

在高并发量的场景下磁盘IO往往是性能的瓶颈所在，访问日志涉及到频繁的写操作，所以这部分要尽可能地优化，不然将拖累系统的整体性能。针对文件记录及数据库记录两种方式可以有以下措施提高写性能，

l 避免频繁的打开关闭文件。将日志写入文件的一般操作步骤是打开-写入-关闭，但假如在需要频繁写入日志的场景下，这种方式在性能上肯定会存在问题，因为每次打开关闭都是需要成本开销的，所以必须要想想是否有别的更好的方式，竟然问题出现在打开关闭的次数，那么解决问题思路就从这里下手，可以在第一次打开写入日志后不进行关闭操作，保持打开的状态，下一次写入则无需再次打开可直接写入。而由于实际过程中访问日志产生的量非常大，肯定不可能只往一个文件中写入数据，可能会按时间间隔每天写一个文件或按文件大小每50M写一个文件，所以在实际设计中会涉及到更换文件的操作，更换时需要把原来的文件流关闭。通过上述措施避免了文件频繁的打开关闭操作，但它同时也存在一些缺点，文件流不关闭会一直占用操作系统资源，且如果不及时关闭可能在程序运行过程中发生异常未正确处理而导致文件流未能关闭，进而将会导致内存泄漏。

l 添加缓冲区：添加缓冲区的作用简单地说应该是减少文件真实

了解本专栏 订阅专栏 解锁全文 超级会员免费看
超人汪小建(seaboat)
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
浅谈MySQL数据库性能优化
12-14
MySQL数据库是 IO 密集型的程序，和其他数据库一样，主要功能是数据的持久化以及数据的管理工作。本文侧重通过优化MySQL 数据库缓存参数如查询缓存，表缓存，日志缓存，索引缓存，innodb缓存，插入缓存，以及连接参数等方式来对MySQL数据库进行优化。 　　缓存参数 　　这里先引用一句话，从内存中读取一个数据的时间消耗是微秒级别，而从普通硬盘上读取一个数据是在毫秒级别，二者相差3个数量级。可见，想对MySQL数据库进行优化，合理调配缓存参数显得更为直接 　　表缓存 　　相关参数： table_open_cache 　　指定表缓存的大小。每当MySQL访问一个表时，如果在表缓冲区
服务器监控及性能优化.pptx
06-08
服务器监控及性能优化 技术创新，变革未来 服务器监控及性能优化全文共27页，当前为第1页。 目录 MMO游戏的常用架构 服务器系统及应用健康监控体系 游戏内常用的效率分析及对应的优化手段 与其他互联网产品的互通性思考 Q&A 环节 服务器监控及性能优化全文共27页，当前为第2页。 MMO游戏的常用架构 架构和业务是相互促进的 服务器监控及性能优化全文共27页，当前为第3页。 运营系统架构 服务器监控及性能优化全文共27页，当前为第4页。 游戏内监控体系 监控信息汇总到CMS 每个服务器定时汇报自身 各个指标信息 运营系统记录汇总绘图 服务器监控及性能优化全文共27页，当前为第5页。 服务器系统健康监控体系 硬件监控项 CPU使用率 内存使用率 硬盘使用率 内网网卡使用率 外网网卡使用率 磁盘IO 服务器监控及性能优化全文共27页，当前为第6页。 服务器系统健康监控体系 服务器监控及性能优化全文共27页，当前为第7页。 服务器系统健康监控体系 软件监控项 帧速率 网络包 数目 网络连 接数目 房间 数目 线程 状态 NPC 数量 道具 数量 在线玩 家数量 存档 状态 数据库 状态 激活对 象数量 服务器监控及性能优化全文共27页，当前为第8页。 服务器系统健康监控体系 软件信息 监控服务 汇总 阀值判定 各类报警 记录日志 健康监控体系报警，然后呢？ ---分析 各种开源工具、内嵌API、心跳等多种检测方式 硬件信息 服务器监控及性能优化全文共27页，当前为第9页。 游戏内分析系统设计与实现 帧速率 网络包 数目 网络连 接数目 房间 数目 线程 状态 NPC 数量 数学 计算 在线玩 家数量 存档 状态 数据库 状态 激活对 象数量 聚集 状态 监测和分析 是基于业务的 服务器监控及性能优化全文共27页，当前为第10页。 游戏内分析系统设计与实现 服务器监控及性能优化全文共27页，当前为第11页。 游戏内分析系统设计与实现 服务器监控及性能优化全文共27页，当前为第12页。 MMO服务器常用的优化手段 写在之前 对于在运行系统，优化可能牵一发而动全身， 尽快利用各种手段解决问题，保证项目运行。 服务器监控及性能优化全文共27页，当前为第13页。 MMO服务器常用的优化手段 逻辑帧速率优化（尽量控制150ms） ----找到最耗时的函数，内嵌检测，运行超时LOG 对象数量过多，大量道具，NPC等 数学计算过多，位置计算，子弹碰撞，伤害计算等 异常聚集，不可控的玩家行为 跨线程访问，不合理的线程粒度 锁操 作 减小粒度 减少锁时间 同步 同帧合并 减少聚集 大量 对象 分批计算 设置激活 数据 结构 服务器监控及性能优化全文共27页，当前为第14页。 MMO服务器常用的优化手段 流畅 控制 同步 同帧 合并 重点 压缩 大量的网络包优化 ----找到发送最多的包，流量统计，LOG记录 同步的消息在同逻辑帧合并发送，减少投递次数 大量的网络IO重点优化包 MMO的大量包产生在同步，控制范围 使用内存池，大量小内存的申请释放消耗很大 异常来回发送等逻辑BUG 服务器监控及性能优化全文共27页，当前为第15页。 MMO服务器常用的优化手段 网络链接优化 创建链接开销大，使用网络连接池解决 开服、积分墙刷广告，从设计上支持动态增加网关服务器解决 撞库等异常的网络攻击，及时彻底释放，封IP解决 创建销毁 的开销 极限情况 的控制 安全处理 的手段 服务器监控及性能优化全文共27页，当前为第16页。 MMO服务器常用的优化手段 线程操作优化 ----尽量减少锁的时间 尽可能的少调用锁 减小锁粒度 线程数控制，线程间切换开销 利用析构自解锁，防止死锁 网络 数据库 存读档 内部LOG 系统 游戏场景 。。。 一次交换收到的 消息到处理线程 写比读要频繁 分成读写锁 一次交换到写线 程批次写入 不频繁操作， 注意锁定时间 游戏服务器的线程处理 服务器监控及性能优化全文共27页，当前为第17页。 MMO服务器常用的优化手段 存档数据库操作优化 ---尽量保证不回档 存档 正确 设计存读档缓冲，减少直接对数据操作 增加存档频率，设定重要存档节点 控制存档数据大小，可压缩 数据表设计合理 按战区分存档库 缓存 存档 关键点 存档 压缩 数据 合理 表结构 服务器监控及性能优化全文共27页，当前为第18页。 MMO服务器常用的优化手段 内存优化 单个对象的内存占用尽量少，比如使用标记位 频繁申请释放的对象使用对象池，消息，道具，子弹，NPC等 碎内存控制，长时间运行后会积累 重写new delete，用于统计和分析效率点和泄露 根据功能分多进程 控制申请 次数大小 使用 内存池 统计 内存使用 服务器监控及性能优化全文共27页，当前为第19页。 MM
SQL查询安全性及性能优化
03-07
SQL注入的原理 什么SQL注入 将SQL代码插入到应用程序的输入参数中，之后，SQL代码被传递到数据库执行。从而达到对应用程序的攻击目的。 注入原理 常见攻击方法 检测是否可以注入【检测注入点】 示例：http://192.168.0.1/temp.aspx?id=a or 1=1-- 如果上面语句可以执行说明可以实现注入，则可以 利用系统过程、系统表注入数据库 示例【给系统添加一个用户，黑客可以实现远程登录控制服务器】：http://192.168.0.1/temp.aspx?id=1;exec xp_cmdshell 'net user admin 123456 /add' 绕过程序的限制 示例：程序中往往限制单引号的数据，但是黑客传入单引号的ASCII码 跨站点注入 在Web页面挂某些恶意的HTML、JavaScript代码 防范SQL注入 限制错误信息的输出，避免错误信息的输出使得黑客知道网站的技术实现采用什么数据库，采用什么平台 示例：在Web.config文件中设置 限制访问数据库账号的权限 在开发应用系统的时候就应该限制，给程序最小访问数据库的权限 使用参数命令传递参数 不要使用拼接字符串的方式构造SQL语句而采用参数命令 使用存储过程 存储过程在数据库中 只能执行存储过程中固定的代码 限制输入长度 防止黑客输入超大字符串，导致服务器瘫痪 防止黑客输入较长的恶意脚本等 实现方法：文本框的MaxLength属性 URL重写技术 示例： http://testWeb/news.aspx?id=111 重写成:http://testWeb/10101111.html 传递参数尽量不用字符串 http://testWeb/news.aspx?id=111 and 1=1【黑色部分给了SQL注入的机会】 SQL优化 为什么要优化 开发是对性能考虑不多【技术差、项目工期紧等原因没有考虑性能问题】 系统运行中，数据量扩大，访问量增多，蹩脚的SQL危害开始显露 低效SQL的危害 系统响应变慢，软件开发中的8秒定律，当打开一个软件或网页超过8秒时间还没有显示，则响应太慢。 死锁，当不同用户都访问某些资源的时候SQL语句不当导致死锁 客户失去信心，软件失败 低效SQL低效在哪里？  性能低下的根源  硬件原因，数据库的配置不合理，数据库的数据文件和日志文件没有分磁盘存放，会极大影响IO性能  没有建立索引，或者SQL没有走索引。在千万级数据的表上建索引是很有必要的。  SQL过于复杂，过长的SQL语句满足程序需求但是影响性能。子查询嵌套过多对性能有影响，查询关联的表特别多也影响性能  频繁访问数据等等 SQL如何被SQLServer执行的 SQL执行原理  解释：首先解释SQL语句【语法是否正确】  解析：检验语句的出现的对象是否有效【进行一个解析，要检查对象所有权的权限】  优化：【检查SQL语句是否能够使用索引，SQL语句如何执行效率高，制定一个执行计划】  编译：  执行SQL语句：【把编译过的查询要求提交并进行处理】 如何优化SQL 完善开发的管理 完善代码审核、测试机制，软件开发是艺术！ 检测SQL查询的效率 语法【对IO和Time对SQL执行进行统计】： SET STATISTICS IO ON SET STATISTICS TIME ON ------------SQL代码--------- SET STATISTICS IO OFF SET STATISTICS TIME OFF 注意：在检测之前要清理缓存，因为当我们执行SQL语句的时候查出的数据会在数据库中进行缓存，重新查询会返回缓存中的信息。 DBCC DROPCLEANBUFFERS DBCC FREEPROCCACHE 经验：使用子查询嵌套不要过多，尽量使用表连接查询代替子查询，因为表连接查询效率稍高一点。 SQL优化工具 使用报表服务 通过Reporting Service查找低效SQL 选择 性能 - 批处理执行统计信息和性能相关的几个报表服务： 性能 - 对象执行统计信息 性能 - 按平均CPU时间排在前面的查询 性能 - 按平均IO次数排在前面的查询 性能 - 按总CPU时间排在前面的查询 性能 - 按IO总次数排在前面的查询 操作示范： 1. 数据引擎上点击右键—报表—标准报表—关心的
高性能日志：如何提升日志性能避免 IO 瓶颈？
LLH
01-12 4783
是当系统处理大量磁盘 IO 操作的时候，由于 CPU 和内存的速度远高于磁盘，可能导致 CPU 耗费太多时间等待磁盘返回处理的结果。对于这部分 CPU 在 IO 上的开销，我们称为 “iowait”。 iowait 怎么查看呢？ 如果你用的是 Linux 系统或者 Mac 系统，当你在执行一项很耗费磁盘 IO 的操作时，比如读写大文件，通过 top 命令便可以看到。如下图所示： CPU 开销示意图 其中的 2.6 wa 便是 iowait 占用了 2.6% CPU。 那么，这种 CPU 开销对性能会有什么
提升IO效率
niuzai_的博客
06-10 93
提升IO操作原理！
读写文件减少IO次数的方法
aaajj的专栏
01-22 3976
以fstream数据流方法为例 写文件的时候，可以一次写入较多的数据，来减少IO次数。   同样，读文件的时候，使用read方法，替代getline方法，一次可以读入较多的数据，通过循环拼接，可以用较少的次数把文件内容读到内存中。 gcount方法返回获取到的字符数。
关于日志造成的频繁的IO
weixin_30810583的博客
07-24 1075
记录日志可能消耗大量的IO 【Q】 每次写入都是一个IO操作 即使是同一个文件 两次写入也要打开两次IO操作 【F】 设想有这样一个扩展 把php中要记录的日志 用文件名 和 内容的方式记录在内存中 然后这一个php进程结束时候 统一把内存中存储的日志写入日志文件 假如 一次php运行 对a.file 写入3次 b.file 写入2次 c.file 写入一次 ...
文件流和网络流打开关闭中需要注意的问题
yemuxiaweiliang的博客
03-15 640
文件流和网络流打开关闭中需要注意的问题
如何提升日志性能避免IO瓶颈
qq_42968105的博客
11-21 429
1.直接落库，查询日志文件，或者分布式的话就是直接落库，用日志收集组件去收集+展示（例如：filebeat和Logstash） 2.用ELK+kafka收集日志之后做展示 3.可以将日志文件写入到Linux的临时文件系统 tmpfs 中，它是一种基于内存的文件系统，在临时文件系统中写日志的性能相比直接写磁盘，至少能提升100倍，并且当日志文件达到一定大小（例如20MB时），就将日志文件转移到磁盘上，并将临时文件系统中的日志文件清空，相比频繁的小数据写入，磁盘在顺序写入大文件的时候性能更高，也就降低了写入压力
SQLServer2008查询性能优化 2/2
03-02
书名: SQLServer2008查询性能优化 作者: 弗里奇(Grant Fritchey) 出版社: 人民邮电出版社 出版日期: 2010年8月1日 ISBN: 9787115230294 编辑推荐 《SQL Server 2008查询性能优化》为你提供了处理查询性能所...
SQLServer2008查询性能优化 1/2
03-02
书名: SQLServer2008查询性能优化 作者: 弗里奇(Grant Fritchey) 出版社: 人民邮电出版社 出版日期: 2010年8月1日 ISBN: 9787115230294 编辑推荐 《SQL Server 2008查询性能优化》为你提供了处理查询性能所...
提升秒杀日志性能避免IO瓶颈
04-20 227
秒杀日志面临问题： 1、每秒日志量远高于磁盘IOPS，直接写磁盘会影响服务性能和稳定性 2、大量日志导致服务频繁分配，频繁释放内存，影响服务性能 3、服务异常退出丢失大量日志 tmpfs，即临时文件系统，是一种基于内存的文件系统 * 可以将秒杀服务写日志的文件放在临时文件系统中 * 每当日志文件达到20MB时，将日志文件转移到磁盘上，并将临时文件系统中的日志文件清空 使用高效的内存管理，即能快速分配内存，又能避免频繁触发垃圾回收器回收内存 * 秒杀系统的日志里需要附件一些信息，用户I
服务器IO高问题定位和优化
yw804909465的博客
05-25 6214
这次分享主要是针对大家经常面试中遇到的性能相关问题的可能猜测和定位、解决的方法，我在面试的过程中发现好多同学并没有一个清晰的思路 本课程的主旨及目标 •导致服务器IO高的常见原因 •常见定位问题的方法 ==导致服务器IO高的常见原因========================================================================= 简介...
3秒钟完成50万条并发日志 文件写入
weixin_30337157的博客
03-23 602
前言 目前本人从事 JAVA开发 之前讲过《你的日志组件记录够清晰嘛？--自己开发日志组件 Logger》日志文件，当你是羡慕java下面的log4j，打印日志够清晰，可以很清晰定位打印日志所在文件，行号等； 于是尝试了重写了日志组件来模拟清晰打印； 序言 最近和群里大佬们研究游戏服务器架构的时候，讨论像魔兽，完美国际等游戏世界场景无缝地图实现方案；讨论两周后开始动手BB自己的服务器...
Linux系统日志分析
weixin_60917414的博客
04-16 528
rsyslog是一个 C/S 架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听端口是514，只需要在MODULES 打开即可。C/S架构是软件系统体系结构，通常采用两层结构，即服务器-客户机（Client-Server）结构，主要应用于局域网内。//在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致。Web服务:/var/log/httpd/代理服务:/var/log/squid///修改客户端配置文件，并启动服务。
Java-GUI介绍和使用
最新发布
04-18
GUI API包含的类分为三个部分:组件类(component class) 容器类(container class),和辅助类(helper class) 1. 组件类是用来创建用户图形界面的,例如JButton,JLabel,JTextField. 2. 容器类是用来包含其他组件的,例如JFrame,JPanel 3. 辅助类是用来支持GUI组件的,例如Color,Font
springboot jar运行 性能优化
05-19
7. 配置合理的日志级别，避免生成过多的日志信息，影响性能。 8. 使用集群部署，将应用程序部署到多个服务器上，提高系统的稳定性和性能。 以上是一些常见的优化建议，具体的优化策略需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

超人汪小建(seaboat)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值