工作中需要搭建一台日志服务器,用来收集交换机与路由器等设备的系统日志,
要求:
- 服务器采用Windows Server系统。
- B/S架构,可供多人远程访问。
- 有数据库存储功能,至少可存储半年的日志。
目前符合标准的的软件可能只有kiwi syslog(收费软件,试用安装后发现系统占用率较高,最重要的是Kiwi Syslog Web Access功能较少)。决定利用现有的Cacti服务器,安装syslog插件实现日志服务器功能。
Cacti+syslog的优点:
- Cacti系统与syslog插件均为免费开源,有社区维护。
- B/S架构,提供日志分级染色、正则搜索、多条件筛选日志、自定义告警等功能。
- 采用MySQL数据库存储日志,最长保存时间一年。
- 系统占用率低。
Cacti: https://www.cacti.net/ 目前1.2.x版本的Cacti,在windows环境下已经实现一键安装。
syslog: GitHub - Cacti/plugin_syslog: Syslog Plugin for Cacti
syslog下载解压后,文件夹更名为syslog,放入Apache24\htdocs\cacti\plugins目录,在Cacti页面的“系统配置”-“插件”中点击安装、启用即可。全程可使用默认参数。
日志服务器原理:
- 终端设备(交换机、路由器、服务器等)通过网络向日志服务器发送syslog报文。
- 日志服务器通过后端日志程序(如Linux中的rsyslog、kiwi syslog server),接收syslog报文并将报文分解为各个字段,存储到数据库中。
- 前端日志程序(如Cacti的syslog插件、Kiwi Syslog Web Access)从数据库中读取日志信息,以网页等形式最终展现
syslog报文拆解示例:
<187>Jul 3 09:05:15 2023 A-4-172.1.1.9-4 %%10IFNET/3/PHY_UPDOWN: -DevIP=172.19.1.90; Physical state on the interface GigabitEthernet3/0/14 changed to up.
- <187> :转化为8bit后,前5bit是facility(设施),后3bit是prioity(优先级)。
- Jul 3 09:05:15 2023:日志时间,这部分格式不统一,目前发现有些是月-日-时-年,有些设备是月-日-年-时。
- A-4-172.1.1.9-4:设备名称。
- %%10IFNET/3/PHY_UPDOWN:产生日志的程序名称。有些设备的程序名称后还有进程ID,格式为“[进程ID]”。在写入MySQL时要注意将进程ID去掉,否则由于不同设备的程序ID不同,程序筛选器中会出现大量重复字段。
- 其余部分为日志内容,描述的本条日志的事件。
这6部分按顺序对应MySQL的syslog_imcoming表中的facility_id, priority_id, logtime, host, program,message字段。
Windows系统中搭建日志服务器的最大问题:缺少rsyslog这类后端日志程序,无法将接收到的syslog报文转化为数据库数据
(安装kiwi syslog server固然能解决这个问题,先不说是否牛刀小用,从系统资源占用方面就不合适,而且与Cacti的开源背道而驰)使用Python编写了一个日志脚本,主要有以下功能:
- Scapy模块:侦听服务器UDP514端口,从收到的UDP报文中提取载荷,并转化字符串格式,即未经处理的syslog日志报文。
- 使用正则表达式分割字符串格式的日志报文,得到syslog的各个元素。
- pymysql模块:将各个元素写入MySQL的syslog_imcoming表。
- 故障处理模块,正则匹配失败的报文,另存到txt文件中,方便后续对正则表达式进行优化。
其中比较复杂的是第2部分——对syslog报文的处理。由于syslog协议缺少统一格式,各个厂商设备的格式均不相同,所以在编写正则表达式的时候比较麻烦。经常会发生BUG。这个问题在其他syslog软件中也存在。(比如Visual Syslog Server软件 会将H3C设备日志中的年份识别为主机名!)
程序打包下载: