日志管理
本节课我们要学习日志管理的相关知识，这部分知识可以帮助我们解决在日常工作中遇到的问题，还可以帮助我们了解系统都发生了哪些状况，做了什么工作等
课程目标
能够说出日志的作用
能够理解日志服务和相关配置文件及格式
能够搭建集中式日志服务器
能够使用相关工具
能够了解rsyslog+mariadb+loganalyzer的搭建流程
知识点
日志服务的介绍
相关软件包和文件
配置文件说明
集中式日志服务器
相关工具
rsyslog+mariadb+loganalyzer
一、日志服务的介绍
介绍
程序执行的时候，可以通过标准输出（stdout, Standard Output）与标准错误输出 （stderr, Standard Error Output）来输送信息，用户就可以了解该程序执行时发生了什么状况；可是对于在背景执行的服务器程序，或者Linux 内核本身来说，就没有办法这样做了。服务与内核启动后，会切断与终端机（Terminal） 或控制台（Console）的联机，如此一来，即使有信息通过标准输出、标准错误输出传送出去，用户也未必能从屏幕上看到信息。
更何况，用户根本不可能全天候在计算机前面，盯着屏幕上显示的信息啊！为了让 管理者可以随时监控服务所产生的信息，Linux 提供了一个日志服务，该服务可以收集（Collect）任何服务传递过来的信息，储存成为记录文件（Log File） 、或直接传送给某些用户，甚至也可以传送到其他计算机的系统日志服务。
日志的作用
系统方面的问题
linux系统长时间运行，可能会出现一些软件，硬件方面的问题，这些问题都会记录到日志文件中，我们可以通过查看相应的日志文件，找出问题所在
网络服务的问题
网络服务在运行过程中产生的信息都会记录到日志文件中，一旦服务出现问题，无法正常运行，我们可以通过查看相应的日志文件就知道服务出现了什么问题
历史事件查询
由于日志服务每天都会将系统运行的信息保存到日志文件当中，所以我们也可以通过日志信息去追溯之前的系统运行状况
二、相关软件包和文件
软件包
[root@localhost ~]# rpm -qa | grep rsyslog
rsyslog-gssapi-8.37.0-9.el8.x86_64
rsyslog-relp-8.37.0-9.el8.x86_64
rsyslog-8.37.0-9.el8.x86_64
rsyslog-gnutls-8.37.0-9.el8.x86_64
相关文件
配置文件： /etc/rsyslog.conf
辅助配置文件： /etc/rsyslog.d/*.conf
日志文件存放位置： /var/log/
执行文件： /usr/sbin/rsyslogd
模块路径： /usr/lib64/rsyslog/
服务单元： /usr/lib/systemd/system/rsyslog.service
三、配置文件说明
/etc/rsyslog.conf
[root@hello yum.repos.d]# grep '####' /etc/rsyslog.conf
#### MODULES #### 定义模块
#### GLOBAL DIRECTIVES #### 定义全局环境
#### RULES #### 定义规则
模块定义
module(load="imuxsock" # 提供对本地系统日志的支持
SysSock.Use="off") # 关闭通过本地日志接口的信息接收功能，日志信息接收通过下面的imjournal模块
module(load="imjournal" # 提供对systemd日志的访问
StateFile="imjournal.state") # 定义状态文件，rsyslog用于记录文件上传进度，避免日志内容混乱
全局环境设置
# 定义工作目录
global(workDirectory="/var/lib/rsyslog")
# 使用默认的时间戳格式
module(load="builtin:omfile" Template="RSYSLOG_TraditionalFileFormat")
# 定义辅助配置文件位置
include(file="/etc/rsyslog.d/*.conf" mode="optional")
规则设置
信息来源.安全级别 处理方式
信息来源
kern：内核相关的日志
user：用户相关的日志
mail：邮件相关的日志
daemon：系统服务相关的日志
lpr： 打印相关的日志
cron：计划任务相关的日志
authpriv:认证相关的日志
news：新闻相关的日志
uucp：文件copy相关的日志
local0-local7：自定义相关的日志信息
*： 所有
安全级别
debug: 调试
info: 消息
notice: 注意
warn,warning: 警告
err,error: 错误
crit: 严重级别
alert: 需要立即修改该的信息
emerg,panic: 内核崩溃，系统接近崩溃
*：所有日志级别
none:没有任何级别，也就是不记录日志信息
表达形式
mail.err err+crit+alert+emerg
mail.=err err
mail.!err 除了err
处理方式
/PATH/FILENAME：将信息储存至 /PATH/FILENAME文件中。注意，如果要系统日志服务把信息储存到文件，该文件必须以斜线（/） 开头的绝对路径命名之。
USERNAME：将信息送给已登录的用户。
@HOSTNAME：代表使用udp协议将信息转送到远端的日志服务器。
@@hostname：代表使用tcp协议将信息传送到远端的日志服务器
*：将信息传送给所有已登录的用户。
常见的日志文件及作用
/var/log/boot.log 系统启动时的日志。
/var/log/dnf.* dnf软件包管理器相关日志
/var/log/firewalld 防火墙日志
/var/log/lastlog 所有用户最后一次登录信息,需要使用lastlog命令查看
/var/log/maillog 电子邮件系统相关日志
/var/log/messages 整体的系统日志，具体记录范围取决于服务的配置文件
/var/log/wtmp 记录当前登录和过去登录的用户信息，使用last命令查看
日志文件的安全设置
[root@localhost ~]# chattr +a /var/log/messages
[root@localhost ~]# lsattr /var/log/messages
-----a------------ /var/log/messages
日志的格式
[root@localhost ~]# tail /var/log/messages
Dec 6 03:29:09 localhost systemd[1]: Started PackageKit Daemon.
Dec 6 03:43:44 localhost systemd[1]: Starting dnf makecache...
Dec 6 03:43:44 localhost dnf[7594]: 元数据缓存近期已刷新。
Dec 6 03:43:44 localhost systemd[1]: Started dnf makecache.
DATE TIME HOSTNAME APP（NAME）[PID]: MESSAGES
每一个字段的意义如下说明：
DATE：信息发生的日期。
TIME：信息发生的时间。
HOSTNAME：信息发生的主机。
APP：产生信息的软件。
NAME：软件的名称，或是软件组件（Component）的名称。可以省略。
PID：进程标识符 （Process ID）。可以省略。
MESSAGES：信息的内容。
小结
为什么要使用日志
日志的作用
相关文件和配置文件
配置文件的说明
常见的日志文件、记录的内容
日志文件的安全设置和日志信息的格式
重点：日志服务的名称、相关配置文件、配置文件的内容，如何加强日志文件的安全，日志信息的格式
难点：配置文件中各字段的含义，日志信息的阅读。反复阅读尽快习惯格式
四、集中式日志服务器
如果你负责管理数台的 Linux，你得登录每一台Linux 后，才能阅读其中的信息！ 这样是不是很麻烦？？ 那有没有什么更好的方案呢？
Linux 的系统日志服务，允许你把信息传递到某一台 Linux 的系统日志服务中；那你就可以把一台 Linux 作为日志服务器 （Log Server），而其他的 Linux 则当作日志客户端。此时，在作为日志服务器中就可以保存所有日志客户端产生的信息，因此，你就可以在日志服务器中阅读信息，而不用登录到其他的主机了。
搭建流程
环境准备：
server：192.168.1.55
client：192.168.1.18
关闭SELinux和防火墙
关闭SELinux
[root@localhost ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
[root@localhost ~]# reboot
关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
流程
setp1 修改server端rsyslog服务配置文件
server
[root@localhost ~]# vim /etc/rsyslog.conf
开放通过UDP协议514端口接收日志信息功能
19 module(load="imudp")
20 input(type="imudp" port="514")
开放通过TCP协议514端口接收日志信息功能
24 module(load="imtcp")
25 input(type="imtcp" port="514")
step2 重启server端rsyslog服务
[root@localhost ~]# systemctl restart rsyslog #重启日志服务
[root@localhost ~]# systemctl status rsyslog #确认服务启动状态
step3 修改client端rsyslog服务配置文件
client
[root@localhost ~]# vim /etc/rsyslog.conf
67 *.* @192.168.1.55
#告知客户端将所有日志信息使用UDP协议传送到日志服务器，日志服务器的ip地址为192.168.1.55
68 #*.* @@192.168.1.55
#也可以使用@@告诉客户端将所有日志信息使用TCP协议传送到日志服务器
step4 重启client端rsyslog服务
[root@localhost ~]# systemctl restart rsyslog #重启日志服务
[root@localhost ~]# systemctl status rsyslog #查看服务状态
step5 测试
server端使用tail命令查看日志信息
[root@localhost ~]# tail -f /var/log/messages
client使用logger工具产生测试日志
[root@localhost ~]# logger "this is a test from 192.168.1.18"
如果在server端能查看到logger工具产生的内容就证明集中式日志服务器搭建成功
Dec 6 21:18:21 localhost root[2519]: this is a test from 192.168.1.18
注： 其它的client端的设置都是相同的，这样我们就可以将很多台linux主机的日志信息都收集到一台主机上，方便查阅和后期的日志备份工作。
五、日志切割
介绍
随着系统时间使用的增长，日志文件的体积会越来越大，过大的日志文件对于查看或者备份来讲都是极为不便的。所以linux系统提供了一个日志切割工具，这个工具就是logrotate，用户可以用过这个工具对日志文件进行切割，系统也利用这个工具配合计划任务服务，定期的对系统日志进行切割。
相关文件
/etc/logrotate.conf 主配置文件，定义日志切割规则
/etc/logrotate.d/ 辅助配置文件，可以让用户针对不类型的信息，定义不同的切割规则
主配置文件说明
[root@localhost ~]# vim /etc/logrotate.conf
weekly #定义切割周期为每周一次
rotate 4 #默认保留四个文件
create #切割完成后，建立一个新的文件继续存储日志信息
dateext #定义切割后的文件名中要包含日期信息
include /etc/logrotate.d #辅助配置文件的存放位置
辅助配置文件说明
格式
日志文件的名称(绝对路径) {
额外的设置
}
[root@localhost ~]# vim /etc/logrotate.d/syslog
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
missingok #如果文件丢失，转到下一个文件，不报告错误信息
sharedscripts #定义执行的脚本，需要与endscript结合使用
postrotate #定义执行完logrotate操作之后，执行的操作
/usr/bin/systemctl kill -s HUP rsyslog.service >/dev/null 2>&1 || true #重启日志服务
endscript #定义执行的脚本，需要sharedscripts结合使用。
}
logrotate
[root@localhost ~]# logrotate -vf /etc/logrotate.conf
v 显示详细信息
f 强制切割
[root@localhost ~]# logrotate -vf /etc/logrotate.conf
[root@localhost log]# cd /var/log/
[root@localhost log]# ls
secure-20191206 boot.log-20191206 maillog-20191206
btmp-20191206 messages-20191206 spooler-20191206
wtmp-20191206 cron-20191206
系统如何使用logrotate
linux系统通过计划任务去定期的执行切割动作
[root@localhost ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE
此文件定义了如果切割的操作执行成功的话，会调用logger命令记录一条标签为logrotate的日志信息到日志文件里
六、systemd-journald.service
很早之前，日志信息是需要等到开机完成并启动日志服务之后才会开始记录的，这种方式会导致开机过程中的信息无法记录，为了避免这种情况，内核用一个叫klogd的服务来记录开机过程中产生的日志信息，然后等到日志服务启动完再将这些信息交给日志服务。
现在linux系统采用systemd来管理系统服务，而systemd又是第一个启动的服务，所以现在我们通过一个systemd自带的，名字叫systemd-journald的服务来协助记录日志信息。那是不是就意味着我们可以不使用rsyslog这个服务了呢？不能，因为systemd-journald服务使用内存来记录相关日志信息，断电之后内容消失，所以我们不能停止rsyslog服务，而且rsyslog服务有一个很重要的功能，可以对日志内容进行分类。
journalctl
systemd-journald提供了一个叫journalctl的工具用来查询它所记录的信息
[root@localhost ~]# journalctl
-n 显示最后的几行内容，默认为10行
-r 倒序输出，最新的日志先输出
-S/--since 开始的时间
-U/--until 结束的时间
-p 指定日志等级0-7，（0=emerg，1=alert，2=crit，3=err，4=warninig，5=notice，6=info，7=debug）如：4代表的就是0-4
-f 持续输出，类似于tail的-f 使用ctrl+c结束
--disk-usage 磁盘空间占用
-u 指定单元，如 -u crond.service
--vacuum-size 释放日志文件占用的空间，如 --vacuum-size 1G
_PID=0 查看指定PID的信息
_UID=0 查看指定UID的信息
[root@localhost ~]# journalctl --since "YYYY-MM-DD 00:00:00" --until "YYYY-MM-DD 00:00:00"
[root@localhost ~]# journalctl --since today
[root@localhost ~]# journalctl --since yesterday --until today
[root@localhost ~]# journalctl -u crond.service
[root@localhost ~]# journalctl _SYSTEM_UNIT=crond.service
七、日志分析工具
虽然我们有相关的工具来查看日志信息，但是如果信息量过大的话查看起来也是比较费时的，所以linux系统给我们提供了一个日志分析工具，这个工具叫logwatch，它会每天分析日志信息，并将信息通过邮件的形式发送给root用户
安装logwatch及相关软件包
[root@localhost ~]# dnf install logwatch -y
[root@localhost ~]# dnf install sendmail -y
[root@localhost ~]# systemctl start sendmail
[root@localhost ~]# ll /etc/cron.daily/0logwatch
-rwxr-xr-x 1 root root 434 5月 11 2019 /etc/cron.daily/0logwatch
[root@localhost ~]# /etc/cron.daily/0logwatch
[root@localhost ~]# mail
Heirloom Mail version 12.5 7/5/10. Type ? for help.
"/var/spool/mail/root": 2 messages 1 new
1 logwatch@localhost.l Sat Dec 7 01:50 57/2011 "Logwatch for localhos"
>N 2 logwatch@localhost.l Sat Dec 7 01:52 56/2000 "Logwatch for localhos"
输入数字查看对应的邮件，输入q退出
小结
集中式日志服务器的作用
集中式日志服务器的搭建流程
相关工具
重点：集中式日志服务器的搭建流程、logrotate、journalctl、logwatch的使用
难点：容易分不清集中式日志服务器中server和client的角色，三个工具的参数不好记忆。
命令的熟悉方式只能多敲多练
八、rsyslog+mariadb+loganalyzer
一个可以使用web页面查看日志的架构
环境准备：与前面课程提到的集中式日志服务器的架构一样，只是这个架构是在server上搭建的，也就是IP地址为192.168.1.55的这台主机上
server端的环境准备和设置
setp1 安装所需要的软件包
[root@localhost ~]# dnf install mariadb mariadb-server rsyslog-mysql -y
step2 启动mariadb服务
[root@localhost ~]# systemctl restart mariadb
[root@localhost ~]# systemctl status mariadb
**step3 设置mariadb **
##将mariadb的管理员密码设置为‘123456’
[root@localhost ~]# mysqladmin -u root password 123456
##建立日志服务需要用到的数据库
[root@localhost ~]# cd /usr/share/doc/rsyslog/
[root@localhost rsyslog]# mysql -u root -p < mysql-createDB.sql
Enter password:
##进入到mariadb中验证一下是否有一个叫Syslog的数据库，如果有就代表前面的操作成功
[root@localhost rsyslog]# mysql -u root -p
Enter password:
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| Syslog |
step4 为后面将要用到的用户进行授权，允许用户访问mairadb中的Syslog库
#允许一个叫syslogroot的用户从127.0.0.1、192.168.1.55、192.168.1.18这三个ip地址访问我的数据库，密码为syslogpass，设置完成之后刷新一下并退出（如果你的架构中还有其它的主机，只要修改数据库语句中的IP地址即可）
MariaDB [(none)]> grant all on Syslog.* to 'syslogroot'@'127.0.0.1'identified by 'syslogpass';
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> grant all on Syslog.* to 'syslogroot'@'192.168.1.55'identified by 'syslogpass';
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> grant all on Syslog.* to 'syslogroot'@'192.168.1.18'identified by 'syslogpass';
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> quit
Bye
setp5 修改rsyslog服务的配置文件
[root@localhost ~]# vim /etc/rsyslog.conf
7 #### MODULES ####
.
.
.
24 module(load="imtcp") # needs to be done just once
25 input(type="imtcp" port="514")
26 module(load="ommysql")#加载一个叫ommysql的模块是日志服务可以连接mariadb
.
.
65 local7.* /var/log /boot.log
66
#告诉日志服务通过ommysql模块，将日志信息发送到192.168.1.55的Syslog库中，使用的用户名和密码就是我们在前一步设置的syslogroot,syslogpass
67 *.* :ommysql:192.168.1.55,Syslog,syslogroot,syslogpass
##重启日志服务
[root@localhost ~]# systemctl restart rsyslog
step6 测试一下日志信息能否记录到数据库中
[root@localhost ~]# logger "hello test test test"
[root@localhost ~]# mysql -u root -p
Enter password:
MariaDB [(none)]> use Syslog;
Database changed
MariaDB [Syslog]> select * from SystemEvents\G
*************************** 8. row ***************************
ID: 8
CustomerID: NULL
ReceivedAt: 2019-12-07 03:22:31
DeviceReportedTime: 2019-12-07 03:22:31
Facility: 1
Priority: 5
FromHost: localhost
Message: hello test test test
###如果可以看到我们之前使用logger产生的日志信息及代表rsyslog可以将日志信息存入数据库中
step7 设置client(192.168.1.18),此步骤是唯一一步需要对client的做出的设置
##安装软件包
[root@localhost ~]# dnf install rsyslog-mysql -y
##修改服务的配置文件添加相应内容(与server端添加的内容一致)
[root@localhost ~]# vim /etc/rsyslog.conf
module(load="ommysql")
*.* :ommysql:192.168.1.55,Syslog,syslogroot,syslogpass
[root@localhost ~]# systemctl restart rsyslog
###测试一下client的日志信息能否在server端的数据库中查看
###client
[root@localhost ~]# logger "hello this is a test from client 18"
####server端使用与刚才相同的方法去查看内容
MariaDB [Syslog]> select * from SystemEvents\G
*************************** 28. row ***************************
ID: 28
CustomerID: NULL
ReceivedAt: 2019-12-07 03:30:28
DeviceReportedTime: 2019-12-07 03:30:28
Facility: 1
Priority: 5
FromHost: localhost
Message: hello this is a test from client 18
step8 server端安装支持web页面查看日志的工具loganalyzer
[root@localhost ~]# dnf install httpd php php-mysqlnd php-gd -y
[root@localhost ~]# tar fx loganalyzer-4.1.8.tar.gz
[root@localhost ~]# cp -r loganalyzer-4.1.8/src/* /var/www/html/
[root@localhost ~]# cp loganalyzer-4.1.8/contrib/* /var/www/html/
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# sh configure.sh
[root@localhost html]# systemctl restart httpd
step9 在mariadb中创建lyzeruser工具需要用到的库、用户并授权
[root@localhost html]# mysql -u root -p
Enter password:
MariaDB [(none)]> create database loganalyzer;
Query OK, 1 row affected (0.000 sec)
MariaDB [(none)]> grant all on loganalyzer.* to lyzeruser@'192.168.1.55' identified by 'lyzeruser';
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.001 sec)
MariaDB [(none)]> quit
Bye
step10 打开浏览器，部署loganalyzer
小结
rsyslog+mariadb+loganalyzer
重点： 所有内容都是重点，一个步骤出现失误会导致架构无法正常运行
难点： 操作较多，且目前还没有涉及到数据库服务。操作时注意命令的格式和大小写。
章总结
日志服务的介绍和功能
相关的软件包
相关的配置文件
/etc/rsyslog.conf说明
常见的日志文件及存储的信息的内容
日志信息的格式
如何搭建集中式日志服务器
日志管理中的工具 logrotate logwatch journalctl
web界面查看日志
重点： 日志服务的配置文件，日志信息的格式，相关的管理工具，集中式日志服务器
难点： 配置文件当中的字段，额外的相关文件的功能，管理工具的使用。勤学多练，才能加深记忆。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
