日志系统设计

一、重要性
      日志系统在整个系统架构中的重要性可以称得上基础的基础,但是这一点,都容易被大多数人所忽视。因为日志在很多人看来只是printf。在系统运行期间,是很难step by step的,所以只能根据系统的运行轨迹来推断错误出现的位置,这往往也是唯一的资料,特别是在高可靠性的情况下。
      从更大方面的范围来说,日志系统是运营维护的范畴。但小的方面来说,这是必须的调试的手段。在多年的开发经验来看,日志系统必须被我们重视的。

二、解决问题
      日志系统的主要解决的问题是记录系统的运行轨迹,在这个基础上,进行跟踪分析错误,审计系统运行流程。在高可靠的系统中,是不允许系统运行终止的。日志系统的内容可以分为2类,一类可是业务级别的日志,主要供终端用户来分析他们业务过程;另一类是系统级别的日志,供开发者维护系统的稳定。
      由于日志系统的数据输出量比较大,所以不能不考虑对整个系统性能的影响。从另外一方面来看,海量的日志内容有时候并不件好事,因为,很容易覆盖真实问题的蛛丝马迹。也增加日志阅读者信息检索的困难。
      日志系统的设计,必须解决几个问题:
      1、使用方便,包括开发和信息检索。
      2、组织合理,日志内容被有效的组织起来。有助于基于日志内容的分析。
      3、过程重现,这个目标其实对开发者来说是最重要的。基于日志的分析,最重要的是重现当时运行的过程。
      4、可控制性,允许用户进行干预,特别是运行期的干预。比如关闭某些内容,或者重定向内容的输入目标点。

三、系统构成
      一个日志系统根据他的过程,可以分为日志来源,系统控制,日志输出,【日志存储】。根据这个过程,我们可以将整个系统分为4个模块,并加以抽象。
      
      1、日志来源
      日志内容可以来源于任何其他系统,但对日志系统来说,这是个格式化的缓冲区。对于日志系统来说,任何内容都是合法的。最重要的是,日志系统必须提供一个简单的规则,为后续的管理和检索提供方便性和灵活性。在传统的printf格式中,是很难维护一个格式化的日志输出。文本方式对人来说阅读方便,但不容易检索,特别是在大量日志的情况下,更不好维护了。
      2、日志控制
      系统控制的重点在于控制日志内容在日志系统中的流转过程。比如日志输出目的地,比如日志的输出级别。我们在apache的Logging项目中曾经看到,他们提供了一个和平时不太一样的输出目的地,telnet。这和传统的stdout、stderr、syslog有很大的区别,便于远程管理,更大的潜力在于,可以在运行期,通过登录telnet来动态调整系统环境配置。
      3、日志输出
      日志在控制台输出是比较常见的,但如何考虑为系统的可靠性提供支持,以及大量日志内容的情况下,这个一般不予考虑的。在控制台输出的,只会是非常核心的内容或者是致命的错误,况且,在有些情况下,不一样会有控制台。我们一般在这种情况下,都倾向于将日志输出到文件。但对一个完善的日志系统,日志输出和日志存储又是有区别的。日志存储是日志输出到文件的一种方式。日志输出也是日志控制的一个内容。
      4、日志存储
      日志存储在很多小型系统往往并不需要关注,一个可靠性要求很高的系统中,对日志存储却是极为苛刻。就是在现在的数据库系统中,也必须依赖日志的存在,来还原操作。
      
四、日志内容
    1、内容分级
    在LINUX的SYSLOG中,对日志内容进行分级,将分为8个级别,如下:
    
    #define LOG_EMERG   0   /* system is unusable */
    #define LOG_ALERT   1   /* action must be taken immediately */
    #define LOG_CRIT    2   /* critical conditions */
    #define LOG_ERR     3   /* error conditions */
    #define LOG_WARNING 4   /* warning conditions */
    #define LOG_NOTICE  5   /* normal but significant condition */
    #define LOG_INFO    6   /* informational */
    #define LOG_DEBUG   7   /* debug-level messages */
    
    这样,我们只需要设置一个全局变量,监控日志内容输出级别。当产生日志内容的级别比输出级别更优先时,将被记录下来,否则被简单的忽略。这种方式,很容易控制日志的输出内容。在WIN32平台下,有分类的功能,但是没有分级。但实际上也有个问题,就是只能控制一个输出范围,如果想只输出特定类的日志内容,在策略上,还是比较麻烦的。    
    2、内容分类
    在LINUX的SYSLOG中,不但对日志内容有分级,同样也有分类,主要是根据日志内容的来源,如下:
    
    #define LOG_KERN    (0<<3)  /* kernel messages */
    #define LOG_USER    (1<<3)  /* random user-level messages */
    #define LOG_MAIL    (2<<3)  /* mail system */
    #define LOG_DAEMON  (3<<3)  /* system daemons */
    #define LOG_AUTH    (4<<3)  /* security/authorization messages */
    #define LOG_SYSLOG  (5<<3)  /* messages generated internally by syslogd */
    #define LOG_LPR     (6<<3)  /* line printer subsystem */
    #define LOG_NEWS    (7<<3)  /* network news subsystem */
    #define LOG_UUCP    (8<<3)  /* UUCP subsystem */
    #define LOG_CRON    (9<<3)  /* clock daemon */
    #define LOG_AUTHPRIV    (10<<3) /* security/authorization messages (private) */
    #define LOG_FTP     (11<<3) /* ftp daemon */

    在WIN32平台下的事件管理器也是有相应的功能,只是有部分区别。WIN32的系统日志被分为安全性、应用程序、系统等几类。每类都有几个固定的字段,日志内容是以文本方式被保存的。分类的主要依据也是日志内容的来源。
    
    3、内容格式
    虽然内容的分级和分类在很大的程度上,对日志内容进行归类,但这远远不够。这个规则的粒度相当粗糙。也就是说,针对特定级别特定类的日志内容也会是相当地庞大。因此有必要针对日志内容在更小粒度的划分,就是内容格式的设计。内容格式的设计上,有个很致命的问题,就是内容的多样性,很难用一个统一的格式来限定内容输出。对于动态内容的格式话,其实我们也有几个现成方案值得借鉴。
    首先、XML在格式化多样性内容方面具有相当大的灵活性,不过他也有个致命的弱点,就是解析内容时,具有相当大的时间复杂度。
    其实、TDS协议是SYBASE数据库在输出DBMS结果给客户端时,数据流的格式。他允许在一个流中存在不同类表的数据,比如多个不同结果字段的游标。在灵活性方面不如XML,但速度要快于XML。
    最后、每个内容块都遵循同样的格式,这种方式,灵活性最差,但要简单多了。整个日志内容相当于一个固定结构的表。
    从笔者的角度出发,倾向于以TDS的格式为基础,引进XML的某些特性,来设计出一个内容格式。
    
    4、内容边界

    日志系统可能需要将各种各种格式的日志内容统一存储在一起,这些内容同样可能是不同的大小,因此我们需要确认每个内容边界,否则极有可能混淆每个内容的确切内容。内容边界是日志系统设计的一个最基本细节,否则这个日志系统将是不可能。没法确切区分每个日志内容,后续的分析就没法是实现了。内容边界的设计,在日志存储系统之前就必须是明确的。

五、日志控制
    1、控制目标
    日志系统要控制的目标包含整个日志内容流转的过程。对日志来源的控制,一般着重于对日志内容的过滤。上面对内容进行分级、分类、制定格式,一个最重要的原因就是对日志内容的过滤。对日志输出控制,主要着重于输出目的,比如是文件还是SYSLOG,以及诸如此类。
    日志控制是日志内容流转过程中的一个强化功能。一般来说,越多的日志内容,对系统跟踪分析更有利,但更多的内容,就越增加分析的难度。所以我们需要通过日志控制这个功能来进行平衡。
    
    2、来源控制
    一个最明显的例子,为了方便调试,可能需要在系统中增加调试信息,在正在发布中,这些是不需要。所以在很多系统发布版本中,都要区分发布版和调试版。如果增加了来源控制系统,那么这些事情就简单多了。我们只要将这些信息简单地分级分类。通过一个逻辑控制,将不需要的给过滤掉。前面的分级分类的工作,在这个时候就会发挥很大的作用。
    在wireshark,原来的ethereal,允许自己编辑过滤条件。POSIX的正则表达式也是个很好的设置过滤条件工具。过滤是来源控制功能的一个很重要的工作。实际上,内容在来源上已经产生,只是没有到达或者说没有必要到达到输出目的地。
    
    3、输出控制
    输出控制是日志控制的一个重要工作,但是这个工作和日志输出会有个概念重合的地方。控制只是负责按规则解释这个内容究竟是否需要输出,至于输出的具体内容,其实和他已经没有什么关系了。

六、日志输出
    日志输出有两个重点功能,就是输出什么样以及往哪里输出。
    1、输出格式
    输出格式,是解释内容是什么样的工作,printf的格式串是很明显的例子。但是一个强大的日志系统可能更为复杂,比如DBMS的日志系统。格式问题往往在日志检索中,或者日志分析中,体现出巨大的作用。在通常的使用中,还是要依赖于分级和分类。不过格式的使用,针对日志内容级别的检索和分析将更为有用。
    
    2、输出目标
    输出目标通常为文件,控制台,syslog,在apache logging项目中还有个telnet。在文件和syslog作为输出目标时,其实和存储已经很相似了。往哪个目标输出是输出控制的功能,不过,每个目标输出内容应该如何输出,就是日志输出的工作了。

    3、telnet
    telnet作为输出目标是很少见,因为他比较复杂,不过,因为他功能强大,所以,在大型服务器中,是非常需要的。在这里必须着重提醒一下。apache logging项目,专门有个功能。telnet配合日志控制,允许在运行期得到更为详细的功能供调试。这是个很重要的特性,他提供了在运行期和系统进行交互的一个手段。

七、日志存储
    日志存储其实是日志输出的一部分,不过是日志输出中一个很特别的部分。日志输出可能没有IO操作,只在内存中完成操作,但是日志存储是必须存储到物理磁盘中。这个特性就会涉及到一个效率问题。我们知道IO操作和内存操作的性能级别不是一个数量级的。当日志系统涉及到存储时,就必须考虑到性能问题。当大量的数据频繁地被写入到磁盘中,性能问题就更为严重。必须采取更有效的措施来避免写盘操作对其他系统的影响。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值