Linux日志管理

在centos7中，系统日志消息由systemd-journald  和rsyslog

1.常见日志文件的作用

系统日志文件：/var/log目录保管由rsyslog维护的，存放的一些特定于系统和服务的日志

日志文件	用途
/var/log/messsges	大多数系统日志消息记录在此处
/var/log/secumre	安全和身份验证相关的消息和登录失败的日志文件
	安全和身份验证相关的消息和错误的日志文件
/var/log/maillog	与邮件服务器相关的消息日志文件
/var/log/cron	crontab 与定期执行任务相关的日志文件
/var/log/boot.log	与系统启动相关的消息记录
/var/log/dmesg	与系统启动相关的消息记录（硬件相关）

例 1：查看哪个 IP 地址经常暴力破解系统用户密码

[root@localhost ~]# ssh root@192.168.1.13 #故意输错 3 次密码

[root@localhost log]# grep Failed /var/log/secure

Aug19 21:55:42 pda sshd[829]:Failed password for root from10.10.30.130 port 50916

Aug19 21:55:44 pda sshd[829]:Failed password for root from10.10.30.130 port 50916

Aug19 21:55:47 pda sshd[829]:Failed password for root from10.10.30.130 port 50916

[root@localhost log]# grep Failed /var/log/secure  |  awk  '{print $11}'  |  uniq -c

3 192.168.1.13

#awk '{print $11}' #以空格或 Tab 做为分隔符，打印第 11 列的数据。列级过滤

#uniq 命令用于报告或忽略文件中的重复行，-c 或——count：在每列旁边显示该行重复出现的次数；

发现后，使用防火墙，拒绝 IP。命令如下（了解）：

iptables -A INPUT -i ens33 -s 192.168.1.13（暴力破解地址） -j DROP

iptables -L 查看

iptables -F 清空

#将新规则追加于尾部入站请求 ens33 网卡，地址是 192.168.1.13 的 IP，被丢弃。

实验前写个at定时计划清空防火墙规则，避免再次登不上

例 2：/var/log/wtmp 文件的作用

/var/log/wtmp 是一个二进制文件，记录每个用户的登录次数和持续时间等信息。

可以用 last 命令输出 wtmp 中内容：last 显示到目前为止，成功登录系统的记录。

[root@localhost ~]# last

root pts/2 192.168.1.8 Tue May 22 00:35 still logged in

root pts/2 192.168.1.8 Mon May 21 20:42 - 00:35 (03:53)

或：[root@localhost ~]# last -f /var/log/wtmp

例 3：使用 /var/log/btmp 文件查看暴力破解系统的用户

/var/log/btmp 文件是记录错误登录系统的日志。

[root@localhost ~]# lastb

文件变得过大时。清空可选方式有：

方法 1：[root@localhost ~]# > /var/log/btmp    

方法 2：[root@localhost ~]# rm -rf /var/log/btmp && touch /var/log/btmp

两者的区别？   方法 1：以空进行覆盖,源文件inode号不会变化

                       方法 2：先删除再创建,可能导致无法正常记录，重启rsyslog服务可恢复

2. 日志的记录方式

日志的记录在rsyslog中由日志的“类别”和“级别”组成。

1)日志的分类（类别）:

daemon	后台进程相关
kern	内核产生的信息
lpr	打印系统产生的
cron	定时相关
mail	邮件相关
syslog	日志服务本身的
news	新闻系统
authpriv	安全认证
local0~7	自定义的日志设备
local0-local7	8个系统保留，程序使用或者是用户自定义

2)日志的级别（轻-重）

编号	优先级	严重性
7	debug	信息对开发人员调试应用程序有用，在操作过程中无用
6	info	正常的操作信息，可以收集报告，测量吞吐量
5	notice	注意，正常但重要的事件
4	warn	警告，提示如果不采取行动。将会发生错误
3	err	错误，阻止某个模块或程序的功能不能正常使用
2	crit	关键的错误，已经影响了整个系统或软件不能正常工作的信息
1	alert	警报，需要立即修改的信息
0	emerg	紧急，内核崩溃等严重信息

2.1 rsyslog 日志服务

查看日志的配置文件信息：

[root@localhost ~]# vim /etc/rsyslog.conf

*.info;mail.none;authpriv.none;cron.none /var/log/messages

authpriv.* /var/log/secure

mail.* -/var/log/maillog

cron.* /var/log/cron

*.emerg :omusrmsg:*

uucp,news.crit /var/log/spooler

local7.* /var/log/boot.log

注释：

#$UDPServerRun 514 #允许 514 端口接收使用 UDP 协议转发过来的日志。

#$InputTCPServerRun 514 #允许 514 端口接收使用 TCP 协议转发过来的日志。

*.info;mail.none;authpriv.none;cron.none /var/log/messages 所有的类别级别是 info 以上 除了 mail,authpriv,cron 类别.级别

authpriv.* 认证相关日志 /var/log/secure

mail.* 邮件相关的日志 -/var/log/maillog

cron.* 计划任务相关的日志 /var/log/cron

local7.* 开机时显示的信息à存放--> /var/log/boot.log

“- ”号：邮件的信息比较多,现将数据存储到内存,达到一定大小,全部写到硬盘.有利于减少 I/O进程的开销

例：mail.none 所有 mail 类别的日志都不记录

自定义日志：

[root@localhost ~]# vim /etc/rsyslog.conf*.* /var/log/alert.log

[root@localhost ~]# systemctl restart rsyslog.service

#重启 rsyslog 服务，使配置生效。 如何防止日志删除？

[root@localhost ~]# chattr +a /var/log/all.log

[root@localhost ~]# lsattr /var/log/all.log

-----a---------- /var/log/all.log

[root@localhost ~]# systemctl restart rsyslog

3.日志轮替切割-搭建远程日志收集服务器

3.1 日志的切割

在 linux 下的日志会定期进行滚动增加，我们可以对日志进行指定大小的切割。

logrotate 支持按时间和大小来自动切分（剪切）,以防止日志文件太大。

日志轮替最主要的作用就是把旧日志文件移动并改名，同时建立新的空日志文件。

当旧日志文件数量超出保存范围后就进行删除。

logrotate 配置文件主要有：

/etc/logrotate.conf 以及 /etc/logrotate.d/ 目录下的明细配置文件。

logrotate 的执行由 crond 服务调用的。

[root@localhost ~]# vim /etc/cron.daily/logrotate #查看 logrotate 脚本内容。

logrotate 程序每天由 cron 在指定的时间（/etc/crontab）启动

日志是很大的,如果让日志无限制的记录下去，日志文件会逐渐变大，以至于文件无法打开。

日志切割:

当日志达到某个特定的大小,将之前的日志保留一个备份,再产生的日志创建一个同名的文件保存新的日志。

 

3.2 系统中的日志默认切割轮替

[root@localhost log]# vim /etc/logrotate.conf

说明：(全局参数)  要求看懂会写中文！！！

weekly：每周执行切割轮替，或者说每周执行一次日志切割轮替。

rotate：表示日志切分后历史文件最多保存离现在最近的多少份。

create：指定新创建的文件的权限与所属主与属组。

dateext：使用日期为后缀的切割文件。

include  /etc/logrotate.d:引用/etc/logrotate.d目录的轮替规

局部规则 >全局规则

/var/log/btmp { #指定的日志文件的名字和路径。

missingok #如果文件丢失，将不报错。

monthly #每月轮替一次。

create 0664 root utmp #设置 btmp 日志文件的权限，属主，属组。

minsize 1M #日志轮替的最小值。日志一定要达到这个最小值才会轮替，否则就算时

间达到也不轮替。

rotate 1 #日志切分后历史文件最多保存 1 份，不含当前使用的日志。

其它参数说明：

monthly: 日志文件将按月轮循。其它可用值为‘daily’，‘weekly’或者‘yearly’。

size：只有当日志文件增长到指定大小时才会进行切割轮替，比如 100k、100M、100G 单位大小均为有效值。（如果此选项和时间轮替冲突那么最后一个指定的轮替条件生效）

rotate 5: 将存储 5 个归档日志。对于第 6 个归档，距离当前时间最久的归档将被删除。

dateext：在日志切割轮替后，旧日志文件以切割轮替日期为文件后缀名。

nodateext：在日志轮替切割后，旧日志文件不以日期为后缀名。

compress: 在轮循任务完成后，已轮循的归档将使用 gzip 进行压缩。

delaycompress: 总是与 compress 选项一起用，delaycompress 选项指示 logrotate 不要将最近的归档压缩。

missingok: 在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误。

notifempty: 如果日志文件为空，轮循不会进行。

create 644 root root: 以指定的权限创建全新的日志文件，同时 logrotate 也会重命名原始日志文件

sharedscripts：在此关键字之后的脚本执行一次。

prerotate/endscript：在日志轮替之前执行脚本命令。endscript 标识 prerotate 脚本结束。

postrotate/endscript: 在所有其它指令完成后，postrotate 和 endscript 里面指定的命令将被执行。

3.3轮替命令logrotate 

格式：logrotate [选项] 配置文件名   logrotate -vf  

选项：如果此命令不添加子选项，则会按照配置文件中的条件进行日志轮替。

-v：显示日志轮替过程。加-v 选项会显示日志的轮替过程。 -d：预演，不实际轮循

-f：强制进行日志轮替。不管日志轮替的条件是否已经符合，强制配置文件中的所有日志进行轮替。

自定义日志

1、先rz上传自己定义的规则，alog

2、将alog剪切mv到/etc/logrotate.d/目录下

     mv  ./alog  /etc/logrotate.d/

3、vim修改/etc/rsyslog.conf文件

*.*       /var/log/all.log   #自定义的日志文件名称

4、systemctl  restart   rsyslog #重启rsyslog服务，使其配置生效

5、以alog规则对all.log进行日志轮替

      logrotate -vf   /etc/logrotate.d/alog

6、查看/var/log/可看到新的日志

如果遇到大日志文件可以使用split命令对文件进行切分：

3.4 split：文件拆分

split [选项] [输入文件] [输出文件前缀]

     -a：指定输出文件名的后缀长度，默认为2个字符。

      -d：指定输出文件名的后缀长度用数字代替。

       -l:  指定行数

      -b：指定输出文件的大小，可用k，m，g等表示。

cat：文件合并

      cat /拆分文件1 /拆分文件2..../拆分文件n   > 合并文件

3.5配置远程日志服务器-实现日志集中的管理

server端配置

1、修改配置文件，选择tcp，将注释去掉

[root@localhost ~]# vim /etc/rsyslog.conf 

$ModLoad imtcp  

$InputTCPServerRun 514 

2、重启服务

[root@localhost ~]# systemctl restart rsyslog

3、查看服务监听的状态：

[root@localhost ~]# netstat -anlpt| grep 514

4、在服务端关闭selinux和防火墙

iptables -F

client端配置

1、登录客户端，修改主机名。

修改主机名                 #hostnamectl set-hostname  xxu168(自定义)

2、修改配置文件

root@localhost ~]# vim /etc/rsyslog.conf

                              *.*          @@192.168.13.11:514

注： *.* 所有类别和级别的日志 ； @@192.168.13.11:514 运端 tcp 协议的日志服务端的IP 和端口

3、重启 rsyslog 服务

[root@localhost ~]# systemctl restart rsyslog.service

总结：服务器使用 udp 协议，客户端只能使用的配置文件中这一行只能有一个@

*.* @192.168.13.64:514

服务器使用 tcp 协议，客户端只能使用的配置文件中这一行必须有两个@@

*.* @@192.168.13.64:514