目前公司中使用到了apache+jetty/jboss的架构模式,apache承担了日志记录的一个职责。
同事在做性能测试时,发现一个奇怪的现象:15个并发直接压apache,load居然达到了100多,tps只有200多。直接压后端的jboss tps可以有1000多。
1. 刚开始以为是apache keepalive的搞怪,但后来确认apache配置文件的keepalive模式已经是Off。看了下tcp状态,近1000个close_wait状态(说明是客户端主动关闭,服务端是被动关闭),ESTABLISHED也就20多个.
2. 下一步确认apache和后端的jboss链接是否存在异常,通过观察mod_jk的日志文件,ajp协议的tcp链接状态,一切正常,而且链接数也就是80来个,说明到后端的压力并不高。
3. 进一步确认apache线程数,发现apache_error.log已经出现Max Client的现象,链接数过多。
[Sat Mar 12 17:44:31 2011] [error] server reached MaxClients setting, consider raising the MaxClients setting
4. 查了下系统的性能参数(nnd,机器上居然没装sysstat包,sar,iostat命令都用不了),使用vmstat -n 1看了下。 发现cpu 的iowait参数居然达到了60%,基本猜想估计是apache日志记录出了问题
5. 检查apache conf文件,使用的log配置。
CustomLog "|/usr/alibaba/cronolog/sbin/cronolog /home/ljh/output/logs/cookie_logs/%w/cookie_log" cookie_log
CustomLog "|/usr/bin/logger -p local1.info" cookie_log
使用了两个CustomLog.
- cronolog 项目使用比较普遍,目前是按周进行cookie访问日志处理,是一个io处理的点。
- logger系统自带的syslog的接口api。syslog可以支持本地打印和网络打印等。具体的内容可以man logger / man syslog
cronlog | 10并发 | 20并发 | 50并发 | 100并发 |
Blk_wrtn/s | 3720
| 5077 | 6621 | 9394 |
cpu iowait | 1% | 1.2% | 1.4% | 2.2% |
request tps | 1310 | 1751 | 2563 | 3241 |
syslog | 10并发 | 20并发 | 50并发 | 100并发 |
Blk_wrtn/s | 1808 | 1790 | 1845 | 1760 |
cpu iowait | 11.9% | 12.2% | 12.6% | 12.4% |
request tps | 58 | 50 | 51 | 48 |
syslog | 10并发 | 20并发 | 50并发 | 100并发 |
Blk_wrtn/s | 1235 | 1624 | 4112 | 7712 |
cpu iowait | 0.39% | 0.87% | 1% | 0.86% |
request tps | 576 | 1163. | 20882 | 3675 |
syslog | 10并发 | 20并发 | 50并发 | 100并发 |
request tps | 1561 | 2107 | 3153 | 3320 |
- syslog基于本地磁盘的日志记录,在性能上存在比较严重的性能瓶颈,在测试时需要留意。
- syslog基于异步文件记录,性能上接近于网络传输的性能
- syslog基于网络数据日志记录的,单从request tps上看要略优于cronolog,但具体数据的发送的准确性就没有验证了
apache关于日志的使用说明文档:http://httpd.apache.org/docs/2.2/logs.html
针对这cronolog 和 syslog日志记录的使用优化,可以参考http://httpd.apache.org/docs/2.2/logs.html#piped
针对syslog使用,网上是建议是使用syslog-ng,据说性能更好。目前公司的线上服务器也使用的是syslog-ng替换默认的syslogd进程。