log analyzer mysql_MySQL存储日志并使用Loganalyzer作为前端展示

MySQL存储日志并使用Loganalyzer作为前端展示

为什么要使用日志

在生产环境中我们可能需要一个较为完整的日志系统来查看运行中主机服务的状态和所作出的操作，我们可以在较大型的网络架构中使用ELK来实现对日志的收集、检索、前端显示，但是中小型架构中使用rsyslog足以对所有服务器的日志进行收集和检索来达到实时分析数据流量的目的。

本文目标

使用rsyslog将两台主机的日志信息存储到MySQL数据库中，并且编译安装Loganalyzer对MySQL中的日志信息使用httpd+php在前端进行展示。

实验拓扑图

blob.png

实验环境

主机名 IP地址  负责

syslog.anyisalin.com  192.168.2.2 收集日志,MySQL

www.anyisalin.com 192.168.2.3 web

server1.anyisalin.com 192.168.2.4

正常使用

本文所有主机皆关闭SElinux和IPtables

syslog主机上rsyslog设置

以下操作在 syslog.anyisalin.com 中执行

首先我们要安装mysql和rsyslog连接mysql的驱动

[root@syslog ~]# yum install mysql-server rsyslog-mysql -y Loaded plugins: fastestmirrorSetting up Install Process    #省略Installed:  rsyslog-mysql.x86_64 0:5.8.10-10.el6_6     mysql-server.x86_64 0:5.1.73-5.el6_7.1                                                                                                                                                  Complete!

然后我们要修改rsyslog的配置文件，将下面两项启用

$ModLoad imudp$UDPServerRun 514

再添加mysql的配置

$ModLoad ommysql

修改日志存放位置为MySQL

vim编辑器进入末行模式进行替换

%s@./var\/log.*@:ommysql:192.168.2.2,Syslog,syslog,passwd@gi

重启rsyslog服务

[root@syslog ~]# service rsyslog restartShutting down system logger:                               [  OK  ]Starting system logger:                                    [  OK  ]

创建mysql用户并赋予权限

mysql> GRANT ALL ON Syslog.* TO 'syslog'@'%' IDENTIFIED BY 'passwd';Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.00 sec)

导入表

[root@syslog ~]# mysql -usyslog -ppasswd < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql

Server1主机上rsyslog设置

以下操作在 server1.anyisalin.com 中执行

首先我们要修改rsyslog的配置文件

vim编辑器进入末行模式进行替换

%s@./var\/log.*@\@192.168.2.2@gi

重启rsyslog服务

[root@server1 ~]# service rsyslog restartShutting down system logger:                               [  OK  ]Starting system logger:                                    [  OK  ]

测试是否成功

若水GIF截图_2016年3月30日21点28分27秒.gif

在syslog.anyisalin.com中查询数据库看是否记录

mysql> select * from SystemEvents\G;*************************** 1. row ***************************                ID: 1        CustomerID: NULL        ReceivedAt: 2016-03-23 17:28:21DeviceReportedTime: 2016-03-23 17:28:21          Facility: 0          Priority: 6          FromHost: syslog           Message: imklog 5.8.10, log source = /proc/kmsg started.        NTSeverity: NULL        Importance: NULL       EventSource: NULL         EventUser: NULL     EventCategory: NULL           EventID: NULL   EventBinaryData: NULL   省略。。。。

Web服务器配置

以下操作在 www.anyisalin.com 中执行

由于loganalzyer提供的动态网页，所以我们要安装httpd和php

[root@www ~]# yum install php-gd httpd php php-mysql -y | tail -n 10  apr-util.x86_64 0:1.3.9-3.el6_0.1                                               apr-util-ldap.x86_64 0:1.3.9-3.el6_0.1                                          httpd-tools.x86_64 0:2.2.15-47.el6.centos.4                                     libedit.x86_64 0:2.11-4.20080712cvs.1.el6                                       mailcap.noarch 0:2.1.31-2.el6                                                   php-cli.x86_64 0:5.3.3-46.el6_7.1                                               php-common.x86_64 0:5.3.3-46.el6_7.1                                            php-pdo.x86_64 0:5.3.3-46.el6_7.1                                             Complete!

解压loganalzyer程序包到/var/www/html中并配置

[root@www ~]# tar xf loganalyzer-3.6.4.tar.gz  -C /var/www/html/[root@www ~]# cd /var/www/html/[root@www html]# lsloganalyzer-3.6.4[root@www html]# cp -a loganalyzer-3.6.4/src/ log cp -a loganalyzer-3.6.4/contrib/*.sh log/[root@www html]# cd log[root@www log]# chmod +x *.sh[root@www log]# ./configure.sh [root@www log]# ./secure.sh [root@www log]# chmod 666 config.php

启动httpd服务

[root@www log]# service httpd startStarting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using www.anyisalin.com for ServerName                                                           [  OK  ]

访问web页面安装loganalyzer

blob.png

一直下一步到下面的页面，并按下面这样输入

blob.png

一直下一步到最后点击Finish

blob.png

安装完成，我们可以通过前端页面查看多台主机日志信息了

blob.png

blob.png

总结

怎么样？是不是很直观的就能查看排版好且美观的日志信息，再也不用面对繁杂的命令行接口了！

作者: AnyISalIn

感谢: MageEdu

©著作权归作者所有：来自51CTO博客作者AnyISalIn的原创作品，如需转载，请注明出处，否则将追究法律责任

mysqllamprsyslog

2