nginx/tomcat日志格式规范

    最近准备设计和开发一套日志收集平台，进而后续进行实时的日志分析、业务监控和预警等。在此之前，需要制定日志的格式规范，当然还有其他的约束性规范，才能良好的实现日志搜集、数据分拣、数据分析等特性。

 

    制定日志格式规范的方式与目的：

    1）所有项目，日志格式统一，可以极大的简化日志收集和分析的复杂度。

    2）nginx、tomcat等日志格式，需要合理，让日志查看和问题排查更加便捷，排除不用的字段信息，增加更多的有效字段。

    3）考虑到日志格式将来总会要变化，但是日志数据会被运维、开发、大数据平台、BI、安全等团队共同使用，为了避免日志格式的变化给所有相关团队带来干扰，降低改动的影响面，我们将日志中的字段进行分“域”；每个域包括多个字段，不同的团队关注不同的域，某个域中的字段列表改动时，不影响其他团队对数据的使用。我们解析日志数据时，首先将日志按照域分隔符分成多个"域"，然后根据字段在域中的相对位置来获取字段值，而不是使用字段在整条日志的位置。我们使用“^_^”符号作为域分隔符。

    4）为了便于数据分拣、日志收集，我们约定所有的日志文件名必须遵循统一规则，这对Flume进行数据搜集非常有利。比如nginx日志、tomcat access log、业务日志等，日志的文件名遵循：<project-name>.<tag>.log.<yyyy-MM-dd>.<index>；例如：order-center.error.log.2017-10-11.0，其中<index>为rolling时生成的索引号。统一日志名称的原因是：易于通过文件名了解日志的来源和核心特性，此外对于Flume而言可以从文件名中得知项目的名称、日志等重要信息，既可以在收集时对日志进行按项目、日志进行分类存储。

    5）严格控制日志文件的大小，适时对日志文件进行rolling，我们约定任何日志文件的大小不得超过256M，超过此值时应该对日志进行rolling。原因非常简单，较大的日志文件既不便于收集、传输，也不便于进行查看，此外较大的日志还会降低文件IO的效率。在此基础上，我们要求在打印日志时需要对日志信息进行合理规划，尽可能精简日志信息，冗杂而庞大的日志信息不仅价值较低，而且消耗存储，此外较大的日志内容输出还会增加宿主机器的IO负载，毕竟我们的普通的application机器的IOPS通常不高。

    6）为了便于日志分拣、日志内容的可读性、本地性，我们在nginx、tomcat等所有日志内容中，都打印“当前机器的IP”、“日志产生的时间戳”等标记信息。

 

1、nginx日志格式：

log_format  main  '$time_local|$hostname|$remote_addr|$upstream_addr|$request_time|$upstream_response_time|$upstream_connect_time|'

'$status|$upstream_status|-|$bytes_sent|-|-|$