使用Cacti的syslog插件搭建系统日志服务器(Window Server + Python)

工作中需要搭建一台日志服务器，用来收集交换机与路由器等设备的系统日志，

要求：

1. 服务器采用Windows Server系统。
2. B/S架构，可供多人远程访问。
3. 有数据库存储功能，至少可存储半年的日志。

目前符合标准的的软件可能只有kiwi syslog(收费软件，试用安装后发现系统占用率较高，最重要的是Kiwi Syslog Web Access功能较少)。决定利用现有的Cacti服务器，安装syslog插件实现日志服务器功能。

Cacti的syslog界面

Cacti+syslog的优点：

• Cacti系统与syslog插件均为免费开源，有社区维护。
• B/S架构，提供日志分级染色、正则搜索、多条件筛选日志、自定义告警等功能。
• 采用MySQL数据库存储日志，最长保存时间一年。
• 系统占用率低。

Cacti:  https://www.cacti.net/  目前1.2.x版本的Cacti，在windows环境下已经实现一键安装。

syslog:  GitHub - Cacti/plugin_syslog: Syslog Plugin for Cacti

syslog下载解压后，文件夹更名为syslog，放入Apache24\htdocs\cacti\plugins目录，在Cacti页面的“系统配置”-“插件”中点击安装、启用即可。全程可使用默认参数。

日志服务器原理：

1. 终端设备（交换机、路由器、服务器等）通过网络向日志服务器发送syslog报文。
2. 日志服务器通过后端日志程序（如Linux中的rsyslog、kiwi syslog server），接收syslog报文并将报文分解为各个字段，存储到数据库中。
3. 前端日志程序（如Cacti的syslog插件、Kiwi Syslog Web Access）从数据库中读取日志信息，以网页等形式最终展现

手绘流程图 

syslog报文拆解示例：

<187>Jul 3 09:05:15 2023 A-4-172.1.1.9-4 %%10IFNET/3/PHY_UPDOWN: -DevIP=172.19.1.90; Physical state on the interface GigabitEthernet3/0/14 changed to up.

1. <187> :转化为8bit后，前5bit是facility（设施），后3bit是prioity（优先级）。
2. Jul 3 09:05:15 2023：日志时间，这部分格式不统一，目前发现有些是月-日-时-年，有些设备是月-日-年-时。
3. A-4-172.1.1.9-4：设备名称。
4. %%10IFNET/3/PHY_UPDOWN：产生日志的程序名称。有些设备的程序名称后还有进程ID，格式为“[进程ID]”。在写入MySQL时要注意将进程ID去掉，否则由于不同设备的程序ID不同，程序筛选器中会出现大量重复字段。
5. 其余部分为日志内容，描述的本条日志的事件。

这6部分按顺序对应MySQL的syslog_imcoming表中的facility_id, priority_id, logtime, host, program,message字段。

Windows系统中搭建日志服务器的最大问题：缺少rsyslog这类后端日志程序，无法将接收到的syslog报文转化为数据库数据

（安装kiwi syslog server固然能解决这个问题，先不说是否牛刀小用，从系统资源占用方面就不合适，而且与Cacti的开源背道而驰）使用Python编写了一个日志脚本，主要有以下功能：

1. Scapy模块：侦听服务器UDP514端口，从收到的UDP报文中提取载荷，并转化字符串格式，即未经处理的syslog日志报文。
2. 使用正则表达式分割字符串格式的日志报文，得到syslog的各个元素。
3. pymysql模块：将各个元素写入MySQL的syslog_imcoming表。
4. 故障处理模块，正则匹配失败的报文，另存到txt文件中，方便后续对正则表达式进行优化。

其中比较复杂的是第2部分——对syslog报文的处理。由于syslog协议缺少统一格式，各个厂商设备的格式均不相同，所以在编写正则表达式的时候比较麻烦。经常会发生BUG。这个问题在其他syslog软件中也存在。（比如Visual Syslog Server软件 会将H3C设备日志中的年份识别为主机名！）

正在运行的Python后台程序

程序打包下载：

https://download.csdn.net/download/RioLia/88001000