Nxlog——日志采集神器简介

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_29477879/article/details/52183746

(本来打算一本正经的写一篇文章,但是发现一本正经的写我根本就写不出来(´∇`) )
当我们开始设计日志系统的时候,我们要考虑的第一个事情就是用什么方式采集客户机上面的日志。而今天要给大家介绍的这款日志采集神器就是Nxlog。

这里写图片描述

日志采集工具众多,各有各的特色。
譬如LogStash这头大象虽然笨重,但是部署简单,在各种环境下都能用。在某些艰苦的条件下,LogStash还是能帮我们大忙的(请自行脑补一台XX定制机上面只有syslog,然后要自己当盘古开天辟地的场景)
又譬如rsyslog,基本上已经是运维采集日志的标配了,性能高,大多数系统都自带了。
又譬如Heka(老衲已经跪了。。。。),好吧,不说Heka了。

这里写图片描述

NXlog

既然有了那么多现成的日志采集工具了,为什么还需要Nxlog呢?其实nxlog的作者们当时也是考虑过这个问题的

在几年前,我们使用了一个根据msyslog修改过来的版本,它也是一个插件化的架构。但是,和很多syslog的实现者一样,它也是基于BSD的syslog的单线程架构实现的,所以它继承了所有syslog的缺点。我们很快就发现我们需要一个更好的日志解决方案。接着,我们就开始寻找其他解决方案,有很多像rsyslog、syslog-ng这样的方案是可以拿来代替msyslog的,但是大多数方案还是单线程的,并且不是原生支持Windows系统的。于是我们就开始开发NxLog,Nxlog从2009年开始开发,当时是一个闭源项目,知道2011年我们才放出了开源的CE版本

可以看到作者的心路历程其实是这样的。用syslog系列->跪了->用rsyslog顶上->Windows下又跪了->程序员的本性显露出来了,内心独白(这些都是什么渣渣,我要自己写一个(/= _ =)/~┴┴)

这里写图片描述

于是2009年,NXlog就开始开发,等到2011年,第一个开源版本放出来了,直到现在已经是第7个年头了

NXLog的特性

既然是对现有工具都不满而制造出来的产品,自然也会有属于它自己的亮点特性

当你需要一个客户端通杀Windows、*Nix的时候,来一发nxlog吧!NxLog的夸平台设计能够在Windows和*nix下运行,一个客户端解决你所有的烦恼,而且占用资源非常少哟
当某些重要应用不适合在上面放日志处理程序的时候,来一发nxlog吧!Nxlog除了在线处理日志的功能之外,还提供了离线处理日志的功能
当你需要做某用户在40分钟内连续登陆失败xx次则告警的时候,来一发nxlog吧!NXLog提供了命令执行以及静态计数器的功能,可以让你轻易的达到这个目的(当然,你可以来一发LogInsight体验一下在界面上可视化添加告警的快感)

总结一下的话就是我是一个跨平台、不会丢日志、具备日志缓冲与流量控制、定时作业、还带简单编程语言的宝宝。

这里写图片描述

再具备一定高度的总结一下的话呢,就是。。Rsyslog和LogStash等渣渣,不服来战

这里写图片描述

好吧好吧,下面是NXLog的亮点特性完整版,内容有点长(慎点。。),想节省时间的看官看上面的总结就可以啦

真NXLog功能特性

  • 跨平台:NXLog使用Apache Portable Runtime Library,这使得NXLog能够像Apache一样,在不同的平台下运行,在Windows下,它使用Windows本地库进行编写,不依赖Cygwin这种库

  • 模块化的架构:NXLog具有一个轻量级模块化的架构,它使得模块是可插拔的,和Apache Web服务器类似。日志格式化、传输协议、数据库出来、NXLog语言扩展都是模块。只有当模块是需要使用的时候,才会被加载,这能够让程序使用更少的内存。NXLog的核心只具备出来文件和Socket的能力,其他的功能都被放到了各个模块里面,模块具备统一的API,开发者可以轻易的编写新的模块去扩展NXLog
    客户端-服务端模式:NXLog可以作为客户端,也可以作为服务器端。它能够采集客户机上的日志并传输给远程服务器。它也能够接收从其他节点传输过来的日志信息并转发到数据库、文件等其他地方
    多种输入以及输出:除了可以从日志文件采集日志消息,NXLog还支持许多不同的网络和传输层协议,例如TCP、UDP、TLS/SSL、数据库、还有Socket等方式,它既支持从这些协议里面读,也支持从这些协议里面写。

  • 可扩展的多线程架构:NXLog使用基于事件的架构,NXLog在处理日志消息的时候还会采用并行的模式,读取消息、输出消息等日志消息处理操作都是并行处理的。例如:当单线程的syslog进程在尝试输出日志消息到数据库的时候,它会发生堵塞,后面的UDP输入将会丢丢弃,而多线程架构的NXLog不仅避免了这个问题还充分的发挥了操作系统的并行处理能力

  • 高吞吐量:常规的POSIX系统为监控文件描述提供了select或poll的系统调用,但是这些方式都是不可扩展的。现代操作系统具备一些I/O就绪通知的API用于处理大量的文件打开以及网络连接并发的情况。NXLog就是使用这些高性能的API对日志消息进行处理的。

  • 消息缓冲:当日志消息由于网络问题导致输入堵塞的时候,NXlog会主动调整输入的流量。这能够避免日志消息丢失的情况。同时,NXLog还提供了一些消息缓存的模块可以让日志消息暂存到磁盘或内存中。当问题解决之后,缓冲会全部刷出,并被清空。除了使用现有的模块,还可以使用NXLog的语言对消息进行自定义的处理

  • 优先级:不是所有的日志消息都是非常重要的,有些日志消息需要被更加有限的处理,NXLog支持为日志路由设定优先级。例如,这可以避免TCP输入过载导致系统丢弃UDP syslog输入的情况
    避免丢弃消息:内置的流程控制器不支持丢弃日志消息,所以你不会看到类似这种日志消息被丢弃的情况 Dec 18 18:42:42 server syslog-ng[1234]: STATS: dropped 42。当然,在提供丢弃日志消息的条件后,NXLog也能够主动丢弃日志消息。UDP协议下的Syslog是一个非常典型的案例,当kernel的缓冲区用满后,操作系统会丢掉UDP的消息。当日志消息处理导致系统非常繁忙的时候,系统内核的UDP缓冲区就会被非常快的写满。

  • Apache风格的配置:配置方式和Apache服务器的方式很类似,容易学

  • 内置的配置语言:内置的配置语言能够让管理员更加容易的个性化去处理日志消息,Perl是解决日志处理问题的一个挺流行的语言。内置的nxlog语言和perl的语法非常类似

  • 任务管理器:NXLog内置了一个类似Cron的作业调度器,并且提供了更多的功能,使用这种特性,管理员能够自动的执行一些例如日志轮转,系统检查等的任务。

  • 日志轮转:当日志达到了一定的大小,或者到了某个具体的时间,是需要被日志轮转工具进行轮转的,file input reader模块支持扩展的日志轮转脚本,它能够对日志文件进行转移/重命名等动作,类似的,file output writer 模块能够监控文件的轮转,并在轮转完后重新打开输出。
    多种多样的日志消息格式化工具:NXLog支持许多种类型的日志格式,例如Syslog、新颁布的IETF Syslog标准、GELF、JSON等等。使用日志转换函数,NXLog还能够处理多行日志消息或者自定义的日志消息。
    高级日志消息处理能力:除了一些内置的功能之外,使用扩展模块可以使NxLog能够具备解决一些日志格式化,事件管理、正则匹配,日志过滤、重写、告警等动作

  • 离线消息处理模式:有些时候日志需要离线处理,NXLog提供了这种模式

  • 字符集和i18n支持:日志消息可能是各种各样的字符集写出来的,例如UTF-8、latin-2等,Nxlog具备字符集的转换能力

阅读更多
换一批

没有更多推荐了,返回首页