随着通信市场竞争的日趋激烈,各运营商不断加强自身IT支撑系统建设,以支撑业务快速发展的需要。运营商各项业务开展所依赖的IT支撑系统数量不断增多，规模日益庞大，IT系统的使用者对后台IT系统维护部门提出了更高要求：一方面，后台维护部门要保证各IT系统的不间断运行，支撑业务部门的发展要求，对于系统出现的问题，必须做到早发现、早处理，将系统故障对业务发展的影响降到最低；另一方面，随着电信运营商竞争的日趋激烈，人力、财力不断向市场线倾斜，后台维护部门的人员数量不断减少，需要维护的IT系统不断增多，工作量不断加大。使得维护部门迫切需要通过技术创新、维护模式创新，减少人工操作工作量，提升维护效率。
在维护部门的日常工作中，周期性查看各IT系统的服务器操作系统日志、应用系统和数据库运行日志是保证及早发现问题、及时处理异常的关键。由于以往各IT支撑系统往往独立建设，各系统之间网络互不相通，即使是同一套IT系统其主要应用多分布于不同的主机和服务器上，为了对IT系统运行情况进行定期检查，维护人员需要分别登录各系统的每台重要主机，分析主要日志信息，找出故障隐患。在IT系统数量不多、规模不大时，通过人工方式可以完成这些工作，但目前IT系统的规模数量不断膨胀，如：运营商的信令监测系统、大规模集中计费系统，一套系统需要几十台甚至上百台主机服务器。原有的日志处理方式已无法满足业务发展的新需要，提高维护效率、改进日志处理工作势在必行。
在上述三大类日志日常检查工作中，制约效率提高的因素主要包括以下几点：
1、各IT系统日志信息未实现集中采集和展示，需要通过人工方式逐台登录各个系统的关键主机，经过系统认证后，再逐个查看应用系统日志、主机日志和数据库运行日志，大量时间消耗在远程登录的过程中；
2、在定期检查的日志信息中，存在大量可以不予关注的一般提示或普通告警，这些告警信息很多都没有过滤，占用了告警日志文件的大量篇幅，给日常检查增加大量重复工作；
3、各IT系统日志消息的关键字段没有实现分段展示，比如：一条日志消息，一般都包含时间、日志发生源头、日志描述等。这些信息混杂在一条消息中，需要关注的字段没法一眼找出来，给日常检查工作带来不必要的麻烦。
针对这些问题，结合日常IT系统维护工作经验，我们考虑采用日志消息集中处理方式的方式，改进原有工作存在的弊端。具体思路如下：
1、 在考虑系统安全的情况下，打破原有各IT系统间的隔离状态，实现日志消息的集中采集。
2、 根据日常维护经验，将日志消息中不需要关注的部分进行简单处理和过滤，减少不必要的工作量。
3、 依据维护经验，对日志消息的不同字段进行分段，存入数据库，便于分析处理。
4、 通过WEB页面方式，将日志信息展示出来，便于后续故障分析处理工作。
依据这一思路，我们分步骤实现日志集中处理工作：
步骤一、梳通网络，打通主要IT系统日志集中采集通道：
单独安装一台PC服务器，用于日志消息的集中采集。由于主要IT系统均接入DCN网，日志服务器采用内网IP，接入DCN网络，与互联网络物理隔离，保证其安全性。通过MPLS/VPN技术将日志服务器与各IT系统主要应用服务器和数据库服务器打通，为日志消息传送提供通道。
步骤二、实现日志消息的集中收集
考虑现有IT系统服务器端全部采用UNIX平台，必需基于UNIX平台，实现日志消息统一收集，必需将UNIX操作系统本身日志、应用系统运行日志、数据库日志全部传送到日志服务器。具体方法如下：
操作系统本身日志，通过修改UNIX操作系统syslog服务配置文件，将日志消息保存在本地一份的同时，也发送一份COPY到日志服务器。
对于应用系统和数据库日志，这些日志文件多为文本文件，编写脚本程序，定期采集这些文本文件的增量部分，存入临时文件。调用UNIX系统的logger进程，自动读取临时文件中的日志消息，读取完成后将原临时文件删除，并将日志消息发送至日志服务器。
步骤三、实现日志消息分段入库，便于后续分析处理
日志服务器采用LINUX操作系统，安装免费的的rsyslog工具软件，将操作系统日志消息按照消息时间、发生源、消息重要程度等字段分段入库。
对于应用系统日志和数据库日志消息的分段工作，需要编写脚本程序，从日志消息中提取日志时间、日志内容等字段，，通过rsyslog工具导入数据库保存。
步骤四、制作页面，从数据库中提取日志消息，实现日志统一展示
通过PHP和Apache等工具软件，从数据库中提取收集的日志信息。依据日志消息的重要程度，对于需要重点关注的日志消息，通过制作特殊展示效果或发出声音告警等方式展现出来，提醒维护人员及时处理。
日志消息实现集中收集处理后，维护人员不需要再单独的登录各IT系统分别查看日志消息。可以通过统一日志展示门户，以WEB页面，定期查看日志告警信息，及时处理异常情况，大大提升了维护效率。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
