Linux基础学习之从入门到精通Day11
日志管理基础
rsyslog 日志管理
logrotate日志轮转
采集 -----> 分析
一、处理日志的进程
rsyslogd: 绝大部分日志记录,和系统操作有关,安全,认证sshd,su,计划任务at,cron…
httpd/nginx/mysql: 可以以自己的方式记录日志
[root@yangs ~]# ps aux |grep rsyslogd
root 717 0.0 0.0 219752 3880 ? Ssl 09:05 0:00 /usr/sbin/rsyslogd -n
日志可以存放在本地
日志可以存放在远程服务器
二、常见的日志文件(系统、进程、应用程序)
#tail /var/log/messages //系统主日志文件
#tail -20 /var/log/messages
#tail -f /var/log/messages //动态查看日志文件的尾部
#tailf /var/log/secure //认证、安全
#tail /var/log/maillog //跟邮件postfix相关
#tail /var/log/cron //crond、at进程产生的日志
#tail /var/log/dmesg //和系统启动相关
#tail /var/log/audit/audit.log //系统审计日志
#tail /var/log/yum.log //yum
#tail /var/log/mysqld.log //MySQL
#tail /var/log/xferlog //和访问FTP服务器相关
#w //当前登录的用户 /var/log/wtmp
#last //最近登录的用户 /var/log/btmp
#lastlog //所有用户的登录情况 /var/log/lastlog
案例1: 统计登录失败top 5
[root@aliyun ~]# grep ‘Fail’ /var/log/secure |awk ‘{print $11}’ |sort |uniq -c|sort -k1 -n -r |head -5
7 172.16.130.14
6 172.16.130.70
5 172.16.130.56
3 172.16.130.80
2 172.16.130.76
案例2: 统计登录成功
[root@aliyun ~]# grep ‘Accepted’ /var/log/secure |awk ‘{print $(NF-3)}’ |sort |uniq -c
4 111.201.131.215
1 116.243.0.213
1 123.120.14.32
3 123.120.38.233
2 221.222.199.175
1 221.222.202.102
案例3: 查看网卡是否已被驱动
[root@~]# grep -i eth /var/log/dmesg
[ 0.809104] r8169 Gigabit Ethernet driver 2.3LK-NAPI loaded
[ 0.814193] r8169 0000:02:00.0 eth0: RTL8168g/8111g at 0xffffc9000183e000, 40:8d:5c:9b:3c:17, XID 0c000800 IRQ 25
[ 0.814195] r8169 0000:02:00.0 eth0: jumbo features [frames: 9200 bytes, tx checksumming: ko]
[ 1.724991] bnx2 0000:01:00.0 eth0: Broadcom NetXtreme II BCM5709 1000Base-T (C0
) PCI Express found at mem d6000000, IRQ 32,1.725693] bnx2 0000:01:00.1 eth1: Broadcom NetXtreme II BCM5709 1000Base-T (C0
) PCI Express found at mem d8000000, IRQ 33,1.726387] bnx2 0000:02:00.0 eth2: Broadcom NetXtreme II BCM5709 1000Base-T (C0
) PCI Express found at mem da000000, IRQ 35, 1.727432] bnx2 0000:02:00.1 eth3: Broadcom NetXtreme II BCM5709 10
三、rsyslogd子系统
#rpm -qc rsyslog
/etc/logrotate.d/syslog //和日志办轮转(切割)相关
/etc/rsyslog.conf //rsyslogd的主配置文件
/etc/sysconfig/rsyslog //rsyslogd相关文件
#vim /etc/rsyslog.conf
RULES
告诉rsyslogd进程 哪个设备(facility),关于哪个级别的信息,以及如何处理
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
mail.info /var/log/maillog
authpriv.* * <所有终端>
authpriv.* @192.168.10.230
authpriv.* @@192.168.10.230
设备facility
#man 3 syslog
LOG_AUTH
LOG_AUTHPRIV 安全认证
LOG_CRON clock daemon (cron and at)
LOG_DAEMON 后台进程
LOG_FTP ftp daemon
LOG_KERN kernel messages
LOG_LOCAL0 through LOG_LOCAL7 用户自定义设备
LOG_LPR printer subsystem
LOG_MAIL 邮件系统mail subsystem
LOG_NEWS news subsystem
LOG_SYSLOG syslogd自身产生的日志
LOG_USER (default)
LOG_UUCP
级别level syslogd 遇到何种情况(正常、错误)才会记录日志
LOG_EMERG 紧急,致命,服务无法继续运行,如配置文件丢失
LOG_ALERT 报警,需要立即处理,如磁盘空使用95%
LOG_CRIT 致命行为
LOG_ERR 错误行为
LOG_WARNING 警告信息
LOG_NOTICE 普通
LOG_INFO 标准信息
LOG_DEBUG 调试信息,排错所需,一般不建议使用
常用日志
messages 系统日志
maillog 邮件日志
cron 计划任务日志
xferlog vsftpd日志
httpd apache日志
secure 安全日志 ssh ftp telnet pop3 pam等有关
lastlog 记录每一个账户最后一次登录的时间,使用lastlog
wtmp 查看的是一个月之内所有账户的的登录情况,使用last
btmp 查看现在正在登录的账户,使用lastb查看
samba samba共享日志
yum.log yum程序相关的日志
dmesg 开机时核心检测过程中所产生的信息
boot.log 系统启动过程日志记录存放
#tail -f /var/log/messages
logrotate日志轮转
注:针对任何日志文件(rsyslog 日志、Nginx访问或错误日志…)
一、logrotate (轮转,日志切割)
- 如果没有日志轮转,日文件会越来越大
- 将丢弃系统中最旧的日志文件,以节省空间
- logrotate本身不是系统守护进程,它是通过计划任务crond每天执行
[root@~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf //日志轮转,按/etc/logrotate.conf
logrotate 配置文件:
/etc/logrotate.conf (决定每个日志文件如何轮转)
/etc/logrotate.d/*
[root@~]# ls /etc/logrotate.conf /etc/logrotate.d/
/etc/logrotate.conf
/etc/logrotate.d/:
acpid cups iscsiuiolog ppp rpm subscription-manager up2date wpa_supplicant
conman httpd mgetty psacct setroubleshoot syslog vsftpd.log yum
主配置文件
[root@~]# vim /etc/logrotate.conf
=全局设置==
weekly //轮转的周期,一周轮转
rotate 4 //保留4份
create //轮转后创建新文件
dateext //使用日期作为后缀
#compress //是否压缩
include /etc/logrotate.d //包含该目录下的文件
/var/log/wtmp { //对该日志文件设置轮转的方法
monthly //一月轮转一次
minsize 1M //最小达到1M才轮转
create 0664 root utmp //轮转后创建新文件,并设置权限
rotate 1 //保留一份
}
/var/log/btmp {
missingok //丢失不提示
monthly //每月轮转一次
create 0600 root utmp //轮转后创建新文件,并设置权限
rotate 1 //保留一份
}
例1:轮转文件/var/log/yum.log
#vim /etc/logrotate.d/yum.log
/var/log/yum.log {
missingok 丢失不提醒
# notifempty 空文件不轮转
# size 30k
# yearly
daily 每天轮转一次
rotate 3
create 0777 root root
}
测试:
# /usr/sbin/logrotate /etc/logrotate.conf //手动轮转
# ls /var/log/yum*
/var/log/yum.log /var/log/yum.log-20170331
# grep 'yum' /var/lib/logrotate.status //记录所有日志文件最近轮转的时间
"/var/log/yum.log" 2017-3-31-10:0:23
# date 09011000 月日时分
# /usr/sbin/logrotate -s /var/lib/logrotate.status /etc/logrotate.conf
[root@~]# systemctl reload httpd
[root@~]# ll /proc/6416/fd
total 0
lr-x------ 1 root root 64 Apr 7 10:02 0 -> /dev/null
lrwx------ 1 root root 64 Apr 7 10:02 1 -> socket:[76246]
l-wx------ 1 root root 64 Apr 7 10:02 2 -> /var/log/httpd/error_log
lrwx------ 1 root root 64 Apr 7 10:02 3 -> socket:[76890]
lrwx------ 1 root root 64 Apr 7 10:02 4 -> socket:[76891]
lr-x------ 1 root root 64 Apr 7 10:02 5 -> pipe:[96182]
l-wx------ 1 root root 64 Apr 7 10:02 6 -> pipe:[96182]
l-wx------ 1 root root 64 Apr 7 10:02 7 -> /var/log/httpd/access_log
继续访问网站,观察日志文件…
[root@~]# ll /etc/httpd/logs/access_log*
-rw-r--r-- 1 root root 1076521 Apr 7 10:17 /etc/httpd/logs/access_log
-rw-r--r-- 1 root root 1797243 Apr 7 10:15 /etc/httpd/logs/access_log-20170407
[root@~]# vim /etc/logrotate.d/httpd
/var/log/httpd/*log {
missingok
notifempty
sharedscripts
delaycompress
postrotate
/bin/systemctl reload httpd.service > /dev/null 2>/dev/null || true
endscript
}
[root@~]# date 04101000
Mon Apr 10 10:00:00 CST 2017 月日时分
[root@~]# logrotate -f /etc/logrotate.conf
[root@~]# ll /etc/httpd/logs/access_log*
-rw-r--r-- 1 root root 39910 Apr 10 10:00 /etc/httpd/logs/access_log
-rw-r--r-- 1 root root 1797243 Apr 7 10:15 /etc/httpd/logs/access_log-20170407
-rw-r--r-- 1 root root 5131350 Apr 10 10:00 /etc/httpd/logs/access_log-20170410
说明:
当切割之后创建新文件,新文件有新的inode number
如果希望进程如rsyslog、nginx进程会把新的日志写入新日志文件中,但默认不会!!!